单符号信道的数学模型：
{ X , p( y / x), Y }
单维离散信道的数学模型
输入输出的联合概率为：
p(b j ai ) p(ai ) p(b j / ai ) p(bi ) p(a j / bi )
P ( ai )
称作输入概率/先验概率
P(b j / ai ) 称作前向概率 P(ai / b j ) 称作后向概率/后验概率
信道
Y
p( y / x )
Y = (Y1 , Y2 ,...YM )
涉及输入和输出两个随机过程，其之间统计依 赖关系由条件概率 p( y / x )来描述.
包含了信道噪声与干扰的影响 反映了信道的统计特性
单维离散信道的数学模型
X a1 , P( x) p , 1 a2 , , p2 , , ar 输入 pr 干扰
§2.3 离散信道的信道容量
信息传输率：表征平均每个符号通过信道所传输的信息量。 由于平均互信息代表了信道传输过去的那部分信源信息， 因此传信率数值上就应该等于信道的平均互信息。
R I ( X ; Y ) H ( X ) H ( X / Y )比特 / 符号
有时需要了解信道在单位时间内平均传输的信息量，记作：
§2.1 信道的数学模型及分类
什么是信道？
是传送信息的载体——信号所通过的通道。
信源 信道 信宿
噪声
输出信号产生错误和失真
图2.1 通信系统的简化模型
信道的输入输出信号之间一般不是确定的函数 关系，而是统计依赖的关系！
信道的作用
在信息系统中信道主要用于传输与存储信 息，而在通信系统中则主要用于传输。
p(b
j 1
s
j
/ ai ) 1
当输入为ai时，输出一定是bj中的一个
单维离散信道的数学模型
信道转移矩阵：
b1 bs 输出 [P]
输入 a1 p (b1 / a1 ) ar p (b1 / ar )
p (bs / a1 ) p (bs / ar )
I ( X ;Y ) H ( X )
信道的疑义度总大于零，所以平均互信息量总小于 熵。也就是说当信道的信息传输没损失时，接收信 息量等于信源输出符号平均信息量。
3. 平均交互信息量的交互性
I ( X ; Y ) I (Y ; X )
证明： p(ai b j ) p(b j ai )
I ( X ; Y ) p(ai b j ) log
Rt I ( X ; Y ) / t ( H ( X ) H ( X / Y ))/t比特/秒
信道容量
信道对于一切可能的概率分布而言能够传送 的最大熵速率。
C max{I ( X ; Y )}
p( X )
理论上能传输的最大(有用)信息量 最大信息传输率
定理2.1 在信道转移概率 p( y / x) 给定的条件下，平 均互信息 I ( X ; Y ) 是输入信源概率分布 p( x) 的 型 凸函数。 因此总存在某种信源分布P（x）能使得传信率最大。
互信息量： 先验的不确定性减去尚存在的不确定性。就是收信 者收到的信息量，称为互信息量。得到信息消除了 不确定性，不确定性减少就是所获得的信息量。
1 1 I (ai ; b j ) log log p(ai ) p (ai | b j ) 1 1 log log p (b j ) p(b j | ai ) log 1 1 1 log log p (b j ) p (ai ) p(ai b j )
C3离散半连续信道 C4连续半离散信道
信道的分类
工程物理背景——传输媒介类型； 数学描述方式——信号与干扰描述方式； 信道本身的参数类型——恒参与变参； 用户类型——单用户与多用户； 输入、输出随机变量的个数 ——单符号信道与多符号信道。
恒参信道（时不变信道） 3〉信道参量类型 变参信道（时变信道）
后验概率： P(ai / b j )
m
p(ai b j ) p(b j )

p(ai ) p(b j / ai )
p(a ) p(b
i 1 i
r
j
/ ai )
p(a / b ) 1
j 1 i j
当输出为bj 时，输入一定是ai中的一个
§2.2 信道传输的平均互信息
平均互信息量
称为信宿熵
H(Y/X)——散布度，噪声熵。 表示由噪声引起的不确定性的增加。
(3) I ( X ; Y )
p(a b ) log p(a ) p(b )
i 1 j 1 i j i j
r
s
p ( ai b j )
H ( X ) H (Y ) H ( XY )
联合熵
I ( X ;Y ) H ( X ) H ( X / Y ) H (Y ) H (Y / X ) H ( X ) H (Y ) H ( XY )
以太？
信道的分类
工程物理背景——传输媒介类型； 数学描述方式——信号与干扰描述方式； 信道本身的参数类型——恒参与变参； 用户类型——单用户与多用户； 输入、输出随机变量的个数 ——单符号信道与多符号信道。
离散 根据输入、输出随机信号特点： 连续 信号类型 离散信道—输入、输出随机变量均离散取值 半离散 连续信道—输入、输出随机变量均连续取值 半离散(连续)信道—一为离散，另一为连续 半连续 A B 信源 编码 媒介 译码 信宿 无干扰：干扰少到可忽 略； 无源热噪声 2〉信号与干扰类型 干扰 线性叠加干扰 有源散弹噪声 C1 脉冲噪声 干扰类型 C2 有干扰 交调 C3 C4 乘性干扰 衰落 ——连续信道； C1狭义的传输信道 码间干扰 —— C2广义的传输信道 离散信道；
i 1 r
（j=1,2,…,s)
I (ai ; b j ) log
p(ai / b j ) p(ai )
由互信息量的三种表示方式，可得到平均互 信息量相对应的三种表达形式：
(1) I ( X ; Y ) p (ai b j ) log
i 1 j 1
r
s
p(ai / b j ) p (ai )
损失熵
H(X ) H(X /Y)
称为信源熵或先验熵
H(X/Y)——称为信道疑义度，损失熵。 表示信息在有噪信道中传输所引起的信息量的减少。
(2) I ( X ; Y )
p(a b ) log
i j i 1 ) p (b j )
噪声熵
H (Y ) H (Y / X )
熵的关系
损失熵
H(XY) I(X;Y)
噪声熵
H(X/Y) H(X)
H(Y) H(Y/X)
熵的关系
损失熵
噪声熵
H(XY) H(X) H(X/Y) I(X;Y) H(Y) H(Y/X)
熵的关系
H(XY)
损失熵
H(X/Y)
H(X) H(Y) I(XY)
噪声熵
H(Y/X)
平均互信息I(X；Y)的特征：
C max{I ( X ; Y )}
p( X )
信道容量是确定的，不随输入信源的概率分布 而变化，其大小直接反映了信道质量的高低。
信道容量与输入信源的概率分布无关 只是信道转移概率的函数，只与信道统计特性有关
信道编码定理
信道编码定理 （有噪信道编码定理）即香农第二定理：
设有一离散无记忆平稳信道，其信道容量为C，输入序 列长度为L，只要待传送的信息传输率R<C，总可以找到一 种编码，当L足够长时，译码差错率Pe<ε，ε为任意大于零 的正数。反之，当R>C时，任何编码的Pe大于零。
信息论
Information Theory
王逸林
哈尔滨工程大学 2013
Tel: 82519503 E-mail: wangyilin@
第2章 信道模型及信道容量
2.1 2.2 1.3 1.4 1.5 1.6 信道的数学模型及分类 信道传输的平均互信息 平均信息量 消息序列的熵 连续信源的信息度量 信源的相关性和剩余度
P (bi )
称作输出概率
单维离散信道的数学模型
输出符号概率： p(b j ) p(ai b j ) p(ai ) p(b j / ai )
i 1 i 1 r r
p (b1 ) p ( a1 ) p (b ) p(a ) 2 2 PT p ( b ) p ( a ) s r
平均互信息量的非负性 平均互信息量的极值性 平均互信息量的交互性（对称性） 平均互信息量的凸函数性
1.平均互信息量的非负性
I ( X ;Y ) 0
虽然互信息量可能为负，但平均互信息量一定为 正，除非信道输入和输出完全统计独立，所有的 信息都损失在信道里了。
2.平均互信息量的极值性
平均互信息量
当信宿Y收到某一具体符号bj(Y=bj)后，推测信 源X发符号ai的概率，已由先验概率p(ai)转变为 后验概率p(ai/bj)，从bj中获取关于输入符号的信 息量，应是互信息量I(ai ; bj)在两个概率空间X 和Y中的统计平均值：
I ( X ; Y ) p(ai b j ) I (ai ; b j )
信道
p( y / x)
b1 , b2 , , bs 输出 Y P( y ) q1 , q2 , , qs
输入信号与输出信号间是基于信道的统计依赖关系这种统计依赖关系是 通过条件概率 p( y / x) 来描述的。