信息论
Information Theory
王逸林
哈尔滨工程大学 2013
Tel: 82519503 E-mail: wangyilin@
第2章 信道模型及信道容量
2.1 2.2 1.3 1.4 1.5 1.6 信道的数学模型及分类 信道传输的平均互信息 平均信息量 消息序列的熵 连续信源的信息度量 信源的相关性和剩余度
明线 对称平衡电缆（市内） 固体介质电缆小同轴（长途） 有线信道 中同轴（长途） 波导 混合介质 光缆 长波 中波 1 传输媒介类型 短波 超短波 移动 空气介质 视距接力 微波 对流层 散射 电离层 卫星 光波
b1 bs 输出 [P]
输入 a1 p(b1 / a1 ) p(bs / a1 ) ar p(b1 / ar ) p(bs / ar )
单符号信道的数学模型：
{ X , p( y / x),Y }
单维离散信道的数学模型
输入输出的联合概率为：
2.1.2 离散信道的数学模型
X
X ( X 1 , X 2 ,...X N )
信道
Y
p( y / x )
Y = (Y1 , Y2 ,...YM )
涉及输入和输出两个随机过程，其之间统计依 赖关系由条件概率 p( y / x )来描述.
包含了信道噪声与干扰的影响 反映了信道的统计特性
以太？
信道的分类
工程物理背景——传输媒介类型； 数学描述方式——信号与干扰描述方式； 信道本身的参数类型——恒参与变参； 用户类型——单用户与多用户； 输入、输出随机变量的个数 ——单符号信道与多符号信道。
离散 根据输入、输出随机信号特点： 连续 信号类型 离散信道—输入、输出随机变量均离散取值 半离散 连续信道—输入、输出随机变量均连续取值 半离散(连续)信道—一为离散，另一为连续 半连续 略； 无干扰：干扰少到可忽 无源热噪声 2〉信号与干扰类型 线性叠加干扰 有源散弹噪声 脉冲噪声 干扰类型 有干扰 交调 乘性干扰衰落 码间干扰
单维离散信道的数学模型
X a1 , a2 , , ar 输入 P( x) p , p , , p 1 2 r 干扰
信道
p ( y / x)
Y b1 , b2 , , bs q , q , , q P ( y ) 1 s 2
§2.1 信道的数学模型及分类
什么是信道？
是传送信息的载体——信号所通过的通道。
信源 信道 信宿
噪声
输出信号产生错误和失真
图2.1 通信系统的简化模型
信道的输入输出信号之间一般不是确定的函数 关系，而是统计依赖的关系！
信道的作用
在信息系统中信道主要用于传输与存储信 息，而在通信系统中则主要用于传输。
） 恒参信道（时不变信道 3〉信道参量类型 变参信道（时变信道）
信） 单用户信道（点对点通 4〉用户类型 多用户信道（通信网）
有记忆信道 5〉记忆特性 无记忆信道 单符号信道 6〉输入、输出变量个数 多符号信道
单符号信道——输入、输出均用随机变量表示 多符号信道——输入、输出用随机矢量表示
p(bj ai ) p(ai ) p(bj / ai ) p(bi ) p(a j / bi )
P(ai )
称作输入概率/先验概率
P(bj / ai ) 称作前向概率 P(ai / bj ) 称作后向概率/后验概率
P(bi )
称作输出概率
单维离散信道的数学模型
输出符号概率： p(b j ) p(ai b j ) p(ai ) p(b j / ai )
i 1 i 1 r r
p (b1 ) p (a1 ) p (b ) p(a ) 2 2 PT p ( b ) p ( a ) s r
后验概率： P(ai / b j )
m
p(ai b j ) p(b j )
研究信道的目的
在通信系统中研究信道，主要是为了描述、 研究：在什么条件下，通过信道的 度量、分析不同类型信道，计算其容量， 信息量最大？多少？ 即极限传输能力，并分析其特性。
2.1.1 信道的分类
工程物理背景——传输媒介类型； 数学描述方式——信号与干扰描述方式； 信道本身的参数类型——恒参与变参； 用户类型——单用户与多用户； 输入、输出随机变量的个数 ——单符号信道与多符号信道。
信源
编码
A
媒介
B
译码
信宿
干扰
C1Байду номын сангаасC2 C3 C4
C1狭义的传输信道——连续信道； C2广义的传输信道——离散信道； C3离散半连续信道 C4连续半离散信道
信道的分类
工程物理背景——传输媒介类型； 数学描述方式——信号与干扰描述方式； 信道本身的参数类型——恒参与变参； 用户类型——单用户与多用户； 输入、输出随机变量的个数 ——单符号信道与多符号信道。
输出
输入信号与输出信号间是基于信道的统计依赖关系这种统计依赖关系是 通过条件概率 p( y / x) 来描述的。
信道转移概率/传递概率： p( y / x) p(b j / ai )
p(b
j 1
s
j
/ ai ) 1
当输入为ai时，输出一定是bj中的一个
单维离散信道的数学模型
信道转移矩阵：