1 n 2 xi P n i=1
上一页
下一页
4
定义6.4.1 有输入功率约束P的高斯信道容量定义为
C = max I ( X ; Y ) 2
f (x ):EX P
这个信道容量的计算并不是困难,事实上,取约束
条件为EX 2 P, 则:
I ( X ; Y ) h(Y ) h(Y X ) h(Y ) h( X Z X )
EY 2 = EX 2 + EZ 2 P N
由定理6.2.6知,有方差为P N的连续随机变量的最大熵
在正态分布N(0,P N )时到达,所以
1 h(Y ) log 2 e( P N ) 2
上一页 下一页 6
其中等号成立当且仅当Y N(0,P N ),从而
1 1 I ( X ; Y ) log 2 e( P N ) log 2 eN 2 2
H ( X 1 , X 2 , , X n ) H ( X i | X i 1 , , X 1)
i 1 n
二进熵函数：
h (p ) p log p (1 p ) log(1 p)
上一页
下一页
16
四、相对熵和互信息
相对熵：
D( p || q)
xX
p ( x) p ( x) p( x) log E p log q ( x) q ( x)
Z (t )
X (t ) Y (t )
上一页 下一页 1
根据随机信号的采样定理，可将随机信号离散化。 因此，对时间离散信道的输入和输出序列可分别表示为
X ( X1,X 2 , ,)和 Y (Y1 , Y2 ,)
随机噪声可表示为 Z (Z1,Z 2， )
则加性噪声信道可表示如下
1 h(Y ) h( Z X ) h(Y ) h( Z ) h(Y ) log 2 eN 2
上一页
下一页
5
于是计算信道容量的问题就转化为求h(Y )的极大值问题.
注意到Z 与X 独立,且EZ =0,EZ 2 N , 而Y =X + Z ,所以
EY = E ( X + Z ) = EX + EZ =0
yY
熵的简单性质：
1、H ( x) 0,
等号成立的充要条件是X有退化分布．
H ( X ) log || X ||
2、极值性
等号成立的充分必要条件是X服从均匀分布
上一页 下一页 15
3、链法则：
H ( X ,Y ) H ( X ) H (Y | X ) H (Y ) H ( X | Y ) H (Y , X )
正态分布N (0, N )有最大熵， 所以 1 h(Z ) log(2 eN ) 2 定义 1 2 h(Z ) Pe e 2 e 为具有可微熵h( Z )的熵功率
----它就是具有可微熵的高斯随机变量的功率
上一页 下一页 9
1 所以 C log 2 e( P N ) h(Z ) 就变为 2 1 1 C log 2 e( P N ) log(2 ePe ) 2 2
1 P C C X log(1 ) 2 N
－－下界
上一页 下一页 8
另方面，由于Y =X + Z，EY = E ( X + Z ) = EX + EZ =0
EY 2 = EX 2 + EZ 2 P N
所以
1 －－上界 C log 2 e( P N ) h(Z ) 2 进一步，因为与EZ 2 =N 有相同方差的分布中
平均错误概率： pe p( x) p( y | x)
xX x , y
上一页 下一页 30
生成矩阵、校验矩阵、相互关系
1 PN log 2 Pe
一般无记忆加性噪声信道容量的上、下界：
1 PN 1 PN log C log 2 N 2 Pe
上一页
下一页
10
复习提要
序论
一、信息论的形成及历史
——Claude Shannon及其主要贡献
二、通信系统的模型 ——信源、信道、信宿及相互关系 三、信息论的基本研究内容
上一页
下一页
27
第四章 数据可靠传输和信道编码 一、离散无记忆信道和信道容量 离散信道的数学模型：
X，Q ( y x )，Y
信道编码的定义、编码速率、错误概率 离散无记忆信道容量的定义：
C = max I ( X;Y )= max I ( p;Q )
p(x ) p(x )
几种特殊的信道容量的计算：
二进无噪信道、二进对称信道、一般对称信 道、弱对称信道、准对称信道
上一页 下一页 28
二、信道容量的计算 会用拉格朗日乘数法求信道容量
信道容量C的性质：
1) C ³ 0；
2) C £ log X ;
3) C £ log Y ；
了解信道容量的迭代算法的基本思想
上一页
下一页
29
三、线性分组码
信道的译码规则
上一页
下一页
11
第一章 随机变量的信息度量
一、信源的分类及数学模型
连续信源 单符号 无记忆信源 信源 符号序列 离散信源 有记忆信源 符号序列记忆无限 马尔科夫信源
上一页
下一页
12
二、自信息
定义
1 I ( x) log log p ( x) p( x)
1 P log(1 ) 2 N 1 P C max I ( X ; Y ) log(1 ) 2 N
由于达到信道容量当且仅当Y N(0,P N ),
又因为Z N(0,N ),所以由X = Y - Z ,可得,X N(0,P).
即达到信道容量的输入分布为正态分布N(0,P)
上一页 下一页 7
一般无记忆加性噪声信道
当加性噪声功率为EZ =N ,输入功率约束为EX P时 信道容量也可定义为：
2 2
C = max I ( X ; Y ) 2
f (x ):EX P
或等价地表示为： C = max ( h(Y ) h( Z )) 2
f (x ):EX P
由于有相同功率约束高斯信道是其特例，所以
最大后验概率译码规则:
选择译码函数F ( y ) = x ,使之满足条件 p( x | y ) p( x | y ) 对x X
极大似然译码规则：
选择译码函数F ( y ) = x ,使之满足条件 p( y | x ) p( x ) p( y | x) p ( x) 对x X
I ( X ;Y | Z )
互信息的简单性质： 1、非负性 2、链法则 3、数据处理不等式
上一页 下一页 18
各种熵及互信息的相互关系：
H ( X ,Y ) H(X | Y) H (Y | X )
X
Y
H(X )
I ( X ;Y )
H (Y )
注：此图表示了一些等式和不等式的关系，能 够写出并从信息的角度来解释它们。
上一页 下一页 23
四、信源编码定理 了解信源编码定理的内容(定理2.4.1)
上一页
下一页
24
第三章 数据压缩和信源编码
一、等长码 等长码的概念 码率:
k R = log2 D 比特/信源字母 n
编码方案(f ,j )的错误概率：
Pe = Pr {j ( f (x n ))
xn}
上一页 下一页 25
性质、单位、随机事件的不确定性
上一页
下一页
1) p (x ) log p (x )
x
信息含义（物理意义） 单位——bit、nat、hart、N进信息单位 联合熵：
H (X ,Y )
x
y

p (x , y ) log p (x , y )
def
n 特别 1、无记忆信源： H ( X ) H ( X 1 )
2、k阶平稳马氏信源：
H ( X ) H ( X k 1 | X1, X 2 ,, X k )
k＝1时： H ( X ) H ( X 2 | X1) 注：会计算平稳马氏信源的平稳分布及熵率
上一页 下一页 22
H ( X 1 , X 2 ,, X n )
上一页 下一页 14
条件熵：
H (Y | X x) p( y | x)log p( y | x)
H (Y | X )
xX

xX

yY
p ( x ) H (Y | X x )
p ( x, y ) log p ( y | x)
（1） 2- n ( H ( X ) + ) p( X n ) 2- n ( H ( X )- )，若X n W( n )
（2） Pr W( n ) 1 ，若n充分大
（3） (1 )2n ( H ( X ) - ) W( n ) 2n ( H ( X ) + )，若n充分大
上一页 下一页 19
五、信息量的一些性质
1、凸函数的定义
2、Jensen不等式，对数和不等式 3、D(p||q)是概率分布对(p,q)的凸函数(证明） 4、熵 H (p) 是概率分布p的凹函数(证明)
5、对任给的p( y | x), I ( X ; Y )是p(x)的凹函数(证明)；
对任给的p( x), I ( X ; Y )是p(y|x)的凸函数(证明)。
6、法诺不等式
上一页 下一页 20
第二章 随机过程的信息度量
一、信源和随机过程的基本概念 各种信源的数学模型： 无记忆信源 马尔科夫信源：