第2章 信源与信息熵


信息量
自信息量 联合自信息量 条件自信息量
1 I ( xi ai ) log p( xi ) log p( xi )
1 I ( xi , y j ) log p( xi , y j ) log p( xi , y j )
1 I ( xi / y j ) log p( xi / y j ) log p( xi / y j )
逆定理：信道容量C是可靠通信系统传信率 R 的上边界，如果 R > C ，就不可能有任何 一种编码能使差错概率任意小。

6.2.2最优译码与最大似然译码
消息组mi 编码器 码字ci 信道 接收码r 译码 估值
ˆ ci
消息 还原
消息
ˆ mi

最佳译码，也叫最大后验概率译码(MAP)
ˆ c i max P(c i / r )

联合熵和条件熵的性质

1.
平均互信息的性质
对称性
2.
3.
与熵和条件熵及联合熵关系
非负性
4.
5.
极值性
凸性函数性质
6.
信息不增性原理
I ( X ;YZ ) I ( X ;Y ) I ( X ; Z / Y )
离散序列信源的熵

离散有记忆信源的序列熵和消息熵
结论1 结论2 结论3 结论4

最大似然译码( MLD)
ˆ c i max P(r / c i )


BSC信道的最大似然译码可以简化为最小 汉明距离译码。 由于BSC信道是对称的，只要发送的码字 独立、等概，汉明距离译码也就是最佳译 码。
线性分组码

G、G’、 H、 C、dmin、t、d 、S-E 缩短码、扩展码 汉明码（完备码）
循环码

g(x) 、 h(x) 系统循环码 ｍ(x) 、 g(x) 、 r(x) 、 c(x)关系 G、G’、 H、 C、dmin、t、d 、S-E
第7章 加密编码

加密编码的基础知识 数据加密标准DES 公开密钥加密法

密码学的基本概念：
明文、密文、加密、解密、破译、密钥、密码 体制 保密性、真实性 对称密钥体制、非对称密钥体制
最大熵定理
• 限峰功率最大熵定理：对于定义域一定 的随机变量X，当它是均匀分布时具有 最大熵 限平均功率最大熵定理：对于相关矩阵 一定的随机变量X，当它是正态分布时 具有最大熵
1 H c ( X ) log 2 e log( 2e 2 ) 2
2
•
冗余度，表示给定信源在实际发出消息时所 包含的多余信息。
信源编码、信道编码和加密编码来实现。
Shannon三大极限定理是：
无失真信源编码
定理 、 信道编码定理 、 限失真信源编码
定理
信源描述与分类 信源的基本特性是具有随机不确定性 分类——离散信源和连续信源 无记忆：单符号无记忆信源 符号序列的无记忆信源 有记忆：符号序列的有记忆信源 符号序列的马尔可夫信源
定义

H L (X) K
为编码效率，编码效率总是小于1，且最佳 编码效率为
H L ( X) , 0 H L ( X)
单个符号变长编码定理：若离散无记忆信源 的符号熵为H(X)，每个信源符号用m进制码 元进行变长编码，一定存在一种无失真编码 方法，其码字平均长度满足下列不等式
m
i 1
n
－Ki
1
无失真的信源编码定理
定长编码定理 变长编码定理
K是定值 且惟一可译码 码长K是变化的
根据信源各个符号的统计特性，如概率大的 符号用短码，概率小的用较长的码，使得编 码后平均码长降低，从而提高编码效率。 （统计匹配）
定长编码定理说明，
K L logm LH L (X) H (X)
C’
通信系统模型
U
信源
信源 编码
M
C
加密
K
信道 V 编码
干扰 信道 信道 译码
信宿
信源 译码
解密
噪声
I(U;V)=H(U) I(M;C)=0 I(M;KC)=H(M)
H(M|C)
H(M) I(M;C) H(C)
离散信源
连续信源
R(D)
0
D
Dmax
D
0
Dmax
D
信息率失真曲线
第5章 信源编码
信源 编码 信道 编码 干扰 信道 信宿 信源 译码 解密 信道 译码 噪声
信源
加密
编码分为信源编码和信道编码，其中信源 编码又分为无失真和限失真。
一般称
无失真信源编码定理为第一极限定理；
信道编码定理（包括离散和连续信道）称为第
第1章 绪论
信息是具体信号与消息的内涵，是信号
载荷的内容，是消息描述的对象
信号是信息在物理表达层的外延 消息是信息在数学表达层的外延

通信系统的模型
信源 信源 编码 加密 信道 编码 干扰 信道 信源 译码 信道 译码 噪声
信宿
解密
通常，可将信息与通信中的基本问题归纳为
三性：有效性、可靠性和安全性。分别通过

n 1
,,
) n 1


二进制对称信道容量
C＝1－H（）
准对称DMC信道容量
C log n H ( p1' , p2' , p s ' ) N k log M k
k 1 r
连续信道及其容量

限时限频限功率加性高斯白噪声信道
信道的容量
PS C WT log(1 ) N 0W

H c ( X ,Y ) Hc
(Y / X )
p X ,Y ( x, y ) logp X ,Y ( x, y )dxdy p X ,Y ( x, y ) logpY ( y / x)dxdy
H c ( X , Y ) H c ( X ) H c (Y / X ) 互信息 I ( X ; Y ) I (Y ; X ) H c ( X ) H c ( X / Y ) H c ( X ) H c (Y ) H c ( X , Y ) H c (Y ) H c (Y / X )
信源编码的基础是信息论中的两个编码定理：
无失真编码定理 限失真编码定理
∆无失真编码只适用于离散信源 ∆对于连续信源，只能在失真受限制的情况下进行限
失真编码
非分组码 码 分组码 奇异码 非唯一可译码 非奇异码 唯一可译码 非即时码
即时码(非延长码)
唯一可译码存在的充分和必要条件 各码字的长度Ki 应符合克劳夫特不等式：
能获得最佳码的编码方法主要有：

香农（Shannon） 费诺（Fano） 哈夫曼（Huffman）等
进行哈夫曼编码时，为得到码方差最小的码， 应使合并的信源符号位于缩减信源序列尽可 能高的位置上，以减少再次合并的次数，充 分利用短码。
哈夫曼码是用概率匹配方法进行信源编码。
哈夫曼码的编码方法保证了概率大的符
j
) log p( x i , y j )
平均互信息量
I ( X ;Y ) I ( Y ; X ) H( X ) H( X / Y ) H( Y ) H( Y / X ) H ( X ) H ( Y ) H ( X ,Y )
熵的性质 对称性 非负性 确定性 香农辅助定理 最大熵定理
码字所能携带的信息量大于信源序列输出 的信息量，则可以使传输几乎无失真，当 然条件是L足够大。
反之，当 K < H L (X ) 时，不可能构成无失真的 编码，也就是不可能做一种编码器，能使收 端译码时差错概率趋于零。
K H L (X ) 时，则为临界状态，可能无失真，
也可能有失真。
在连续信源的情况下，由于信源的信息量趋 于无限，显然不能用离散符号序列来完成无 失真编码，而只能进行限失真编码。
马尔可夫信源
当信源的记忆长度为m+1时，该时刻发出的 符号与前m个符号有关联性，而与更前面的 符号无关。

马氏链极限熵
H ( X ) p( s i )H ( X / s i )
i
连续信源的熵与互信息

幅度连续的单个符号信源熵
相对熵 联合熵 条件熵 Hc (X )



p X ( x) log p X ( x)dx
二极限定理；
限失真信源编码定理称为第三极限定理。
由于信源符号之间存在分布不均匀和相关性， 使得信源存在冗余度，信源编码的主要任务 就是减少冗余，提高编码效率。
信源编码的基本途径有两个：

使序列中的各个符号尽可能地互相独立， 即解除相关性；

使编码中各个符号出现的概率尽可能地相 等，即概率均匀化。

单符号离散信源熵
H ( X ) p( x i ) log p( x i )
i
符号熵
条件熵
H ( X / Y ) p( y j ) p( x i / y j ) log p( x i / y j )
i,j
联合熵 H ( XY )
p( x , y
i i,j
单位时间的信道容量
PS C C t lim W log(1 )bit / 秒 T T N 0W
香农公式
第4章 信息率失真函数
信息率失真函数的物理意义是： 对于给定信源，在平均失真不超过失真限度D的 条件下，信息率容许压缩的最小值R（D）。
R(D)是非负的实数，即R(D) 0。其定义域为0～
当L H ( X ) lim H L ( X ) lim H ( X L / X 1 , X 2 , X L1 )