它不会仅仅只发出一个消息，
这个消息发生的概率也不是
1
。
必然会有别的可能的情况发生。那么对于一个信源来讲，它所包含的信息量是什么样子的，
我们可以用平均自信息量来度量，
即对每个事件各自所携带的信息量做一个加权平均。
即可
以得到信源的平均自信息量。
信息熵的定义如下：
)
(
log
)
(
)
(
1
log
)
(
1
1
i
q
i
i
第二项是信道矩阵分布行矢量的熵
函数。比方说，前面提到的，二元对称信道的信道容量就是
1
(
)(
/
)
C
H
p
比
特
符
号
除了前面论述到得单符号离散信道之外，
还有独立并联信道和串联信道。
一般的独立并
联信道如下：
图
1
独立并联信道的信道容量不大于各个信道的信道容量之和，只有当输入符号
i
X
相互独
立，且输入符号
i
X
的概率分布达到各信道容量的最佳输入分布时，独立并联信道的信道容
的消息。
消息必须要转换成能在信道中传输或存储的信号，
然后通过信道传送到收信者。
并
且认为噪声或干扰主要从信道中引入。
信道根据用户的多少，
可以分为两端信道，
多端信道。
根据信道输入端和输出端的关联，
可以分为无反馈信道，
反馈信道。
根据信道的参数与时间
的关系信道可以分为固定参数信道，
时变参数信道。
根据输入和输出信号的统计特性可以分
上凸性，
可负性，
变换性，
极值性。
在不同的情况下，
连续信源中的差熵具有极大值，
有下面两种情况下连续信道存在最大的差
熵：
（
1
）
峰值功率受限条件下信源的最大熵。若信源输出的幅度被限定在
,
a
b
区域
内，则当输出信号的概率密度是均匀分布时，这个时候信源具有最大熵，为
log(
)
b
a
。
（
2
）
平均功率受限条件下信源的最大熵。若一个连续信源输出的平均功率被限定
知道了消息的具体内容，原先的不确定性就部分的或者全部消除了。因此，信息传输之后，
(
;
)
(
)
(
|
)
I
X
Y
H
X
H
X
Y
3
平均互信息是表示了收到输出
Y
的前，
后关于
X
的不确定性的消除量，
就是在接到了输
出符号之后，
对输入端输入什么符号得到了更多的信息。
平均互信息量具有一些基本的特征：
第一点，
非负性。
我们通过一个信道获得的平均信息量不会是负值。
也就是说，
观察一个信
道的输出，
从平均的角度来看总能消除一些不确定性，
量才等于个信道容量之和。
串联信道是一种比较常见的信道模型，
比如微波中继竭力通信就是一种串联信道，
还有，
在信道输出端对接受到的信号或数据进行适当的处理，
这种处理称为数据处理。
数据处理系
统一般可以单程是一种信道，它和前面传输数据的信道是串接的关系。串联信道中
X
、
Y
、
Z
有如下关系：
信道
1
信道
2
…
…
信道
N
4
为离散信道，连续信道，半离散或半连续信道和波形信道。
为了能够引入平均互信息量的定义，
首先要看一下单符号离散信道的数学模型，
在这种
信道中，输出变量和输入变量的传递概率关系：
(
|
)
(
|
)
(
|
)(
1,
2,
,
;
1,
2,
,
)
j
i
j
i
P
y
x
P
y
b
x
a
P
b
a
i
r
j
s
传递概率所表达的意思是，在信道当输入符号为
a
，信道的输出端收到
对于串接信道
X
、
Y
、
Z
有
(
;
)
(
;
)
I
XY
Z
I
Y
Z
当且仅当
P(z|xy)=P(z|y)
时，等式成立。
串联信道的信道容量与串接的信道数有关，
串接的无源数据处理信道越多，
其信道容量
可能会越小，当串接信道数无限大时，信道容量就有可能接近零。
三．连续信道
前面讲到的离散信道其输出的消息是属于时间离散、
取值有限或可数的随机序列，
后来，
我们学习到信道容量的一般计算方法。
其中最重要的是对称离散信道的信道容量
的计算。
信道矩阵中每一行和每一列分别由同一概率分布集中的元素不同排列组成的，
这就
是对称离散信道。计算对称离散信道的信道容量公式是：
'
'
'
1
2
log
(
,
,
,
)(
/
)
s
C
s
H
p
p
p
比
特
符
号
其中，
等号右边的第一项是输出符号的最大信息熵，
a
P
a
P
a
P
E
x
H
平均自信息量也称为信息熵。信息熵是从平均意义上来表征信源的总体信息测度的。
对于某特定的信源，
它的信息熵是一个确定的数值。
不同的信源因为其概率分布不同，
它的
熵也不同。
信息熵具有一些基本的性质，比如，对称性，确定性，非负性，扩展性，可加性等等。
这里面有一个最大离散熵定理，表明
:
离散信源情况下，对于具有
接收到一定的信息。
除非信道输入和
输出是统计独立时，
才接收不到任何信息。
因为在这样的统计独立信道中，
传输的信息全部
损失在信道中，
以致没有任何信息传输到终端，
但也不会失去已经知道了的信息。
第二，
平
均互信息量的大小不大于输入输出任一者的信息熵。即从一事件提取关于另一事件的信息
量，
最多只有另一事件的信息熵那么多，
对于不同的连续信道和波形信道，
它们存
在的噪声形式不同，
信道带宽及对信号的各种限制不同，
所以具有不同的信道容量。
我们先
来讨论单符号高斯加性信道的信道容量，
单符号高斯加性信道是指信道的输入和输出都是取
值连续的一维随机变量，而加入信道的噪声是一维高斯加性噪声。它的信道容量表达式为：
1
log(1
)
2
s
n
P
C
我们可以将它等价为
N
个独立并联加性信道。假如各单元时刻上的噪声仍是均值为零，方差为不同的
i
n
P
的高斯
5
噪声，
单输入信号的总体平均功率受限，
此时我们可以使用拉格朗日乘子法莱确定平均功率
的分配。
当
N
个独立并联的组合高斯加性信道，
各分信道的噪声平均功率不相等时，
为了达
到最大的信息传输率，
要对输入信号的总能量适当地进行分配。
如果该信道分得的平均功率
小于次信道的噪声功率，
那么就不能分配能量，
使之不传送任何信息；
如果信道分得的平均
功率要大于信道的噪声功率，就在这些信道上分配能量，使
i
i
s
n
P
P
，这样得到的信道
容量为最大。
我们总是希望在噪声大的信道少传送或甚至不传送信息，
而在噪声小的信道多
传送些信息。
【论文小结】
：
香农对信息所作的科学的定义是在通信系统框架的基础上产生的。在香农看
b
的概率。
我们知道，
信道输入信源
X
的熵是表明接收端收到符号之前信源的平均不确定性，
可以
称为先验熵。
如果信道中无干扰噪声，
信道输出符号与输出符号一一对应，
那么，
接受到传
送过来的符号就消除了对发送符号的先验不确定性。
但是我们实际的生活中一般信道中有干
扰存在，
接收到输出后对发送的是什么符号仍有不确定性。
表示在输出端收到输出变量
P
其中，
i
n
P
是输入信号
X
的平均功率，
n
P
是高斯噪声的平均功率。只有当信道的输入信
号是均值为零，平均功率为
s
P
高斯分布的随机变量时。信息传输率才能达到这个最大值。
注水定理是对于多维无记忆高斯加性连续信道的个信道功率分配问题而提出来的，
对于
多维的情况，
因为输入的是平稳随机序列，
输出的也是平稳随机序列，
离散随机信源是一类最基本的信源，
信源输出是单个的符
号的消息，
并且消息之间是两两互不相容的。
假设有个一维离散无记忆信源，
它的概率分布
函数决定了他所携带的信息。该信源空间中共有
q
个符号，每个符号发生的概率是
Pi,
那么
发出某个符号所携带的信息量是
-logPi
,
由于概率是在
0
和
1
之间的，
使得每一事件的信息
量是非负的。如果该事件发生的概率是