p(x, q(x,
y) y)
1 log
1 4
1
log
1 12
1 log
1 4
5
log
5 12
4
1 6
12
1 精选 6
4
1 3
12
1 3
1 log 3 1 log 1 1 log 3 5 log 5 4 2 12 2 4 4 12 4
1 log 3 5 log 5 3 0.26bits
精选
解： (a)
H (X ,Y ) 1 log 1 1 log 1 1 log 1 5 log 5 4 4 4 4 12 12 12 12
3 1 1 log 3 5 log 5
222
12
1.5 0.51.585 0.96 1.32bits
H(X ) 1 log 2 log 2 log 2 log3 2 0.918bits
单位为奈特（nat）若对数以10为底时，则熵的单位为哈特（hartley）。
注意熵只是概率分布 p的函数，与 X 的取值无关。用 E 表示数学期
望，E
表示关于分布
p
p的数学期望，即
Epg(X ) g(x) p(x)
x
则熵可以表示为随机变量 log 1 p(X
的数学期望，即H
)
(X
)
Ep
log
1 p(X
2.644
平均码长L 3 0.7 2 0.3 2.7 2.644
冗余度 2.7 - 2.644 0.0056bit
精选
8 已知信源 X 有以下概率分布
x1 x2 x3 x4 x5 x6
2
12
2
D(q ||
p)
1 log 6
1 6
1 4
1 log 6
1 6
1 12
1 log 3
1 3
1 4
1 log 3
1 3
5 12
1 log 2 1 log 2 1 log 4 1 log 4
6 36
3 33 5
5 1 log 3 1 log 5 0.1bits
32
3 精选
6 设随机变量 X ,Y , Z 有联合分布 p(x, y, z)，证明一下不等式，
精选
13 令 X 为掷一枚均匀硬币直至其正面向上所需的次数，求 X 的概率分布和 H ( X ) 。
解：设正面第一次向上时已经搓硬币次数为X，则X的分布如下：
P(X
1)
1 2
P(
X
2)
1 4
1
P(X
k)
2k
H (X ) P(X k) log P(X k) k 1
1 log 1
I (x) log 1 。 p(x)
精选
1.2 熵、联合熵、条件熵
X 定义 1.2.1 离散随机变量 的熵定义为
H(X ) p(x)log p(x) x
e 我们也用 H ( p) 表示这个熵，有时也称它为概率分布 p的熵，其中对
数函数以2为底时，熵的单位为比特（bit），若对数以 为底时，则熵的
p(x, y) Pr X x,Y y, x, y
则 定义 ( X ,Y ) 的联合熵 H (X ,Y ) 为
H(X ,Y) p(x, y)log p(x, y) x y 或写成数学期望形式：
H ( X ,Y ) E log p(x, y)
精选
定理 1.2.2 （链法则）
H (X ,Y ) H (X ) H (Y | X )
3333
3
H (Y ) 1 log 1 1 log 1 1bits 2 22 2
精选
H (X | Y ) H (X ,Y ) H (Y ) 0.32bits H (X | Y ) H (X ,Y ) H (Y ) 0.402bits I (X :Y ) H (X ) H (Y ) H (X ,Y ) 0.598bits
(iii) 如 p(x) 1, 则 I(x) 0;
(iv) 严格单调性：如果p(x) p( y),
则 I(x) I(y);
(v) 如果p(x, y) p(x)p(y), 则 I(x, y) I(x) I(y)
则 I (x) C log 1 p(x)
其中C 为常数。
x 设 x 有概率 p(x)，则 的自信息定义为
定义一 称唯一可以编码 f 为即时编码（瞬时编码），如果 f 出现的码
字集中，没有一个码字的前缀。
定义二 设码树上最长得路长为 k ，如果 D进码树上k 的路的终结点 k 都被用作码字时共有D k个码字，这时每个码字长都是 ，即是定长码，
这种树称满树。
定字理长分（别克为莱l夫1, 特l2 ,不等lm式）时必码须字满字足母取值D于li
2k
k 1
2k
1
2k
k精选1
k
()
要求上述级数之和，先由 xk
x
k 1
1 x
两边求导：
f
(x)
k 1
k
x k 1
(x 1
) x
1 (1 x)2
x
f
(x)
k 1
k
xk
x (1 x)2
1 带入()得H (X ) 2 2bit
( 12)2
精选
第二章 随机过程的信息度量和渐 进等分性
概念
证明： H ( X ,Y ) p(x, y)log p(x, y) x y
p(x, y)log p(x) p y | x x y
p(x, y)log p(x) p(x, y)log p y | x
x y
x y
p(x)log p(x) p(x, y)log p y | x
并说明等号成立的条件：
(a)H ( X ,Y | Z ) H ( X | Z );
(b)I ( X ,Y; Z ) I ( X ; Z );
(c)H ( X ,Y , Z ) H ( X ,Y ) H (X , Z ) H (X );
(d )I ( X ; Z | Y ) I (Z;Y | X ) I (Z;Y ) I ( X ; Z ).
I (X ,Y : Z ) I (X : Z ) I (Y : Z | X )且I (Y : Z | X ) 0 所以I (X ,Y : Z ) I (X : Z ) 等号成立 I (Y : Z | X )=0即给定X 条件下Y与Z独立
精选
(c)
H(X ,Y, Z) H(X |Y) H(Z | X,Y) H(Z | X ) H(X , Z) H(X )
0.23 log 0.23 0.27 log 0.27
1.423bit
精选
U 6 已知信源 有以下概率分布
U
~
u1 u2 u3 u4 u5 u6 u7
0.3
0.2
0.10.10.10.10.1
(a)构造一个二进即时码；
(b)计算信源熵 H (U ) 和平均码字长。
解：
精选
精选
熵H () 0.3 log0.3 0.2 log0.2 5 log0.1
图1.1 通信系统模型
精选
第一章 随机变量的信息度量
1.1 自信息 1.2 熵、联合熵、条件熵 1.3 相对熵和互信息
精选
1.1 自信息
定理1.1.1
定义 1.1.1
若自信息I (x)满足一下5个条件：
(i) 非复性：I (x) 0;
(ii) 如 p(x) 0, 则 I (x) ;
即冗余度 L H (或X ) l * H精选(。X )
习题三选做
5 一个信源有以下概率分布
U
~
u1 0.05
u2 0.10
u3 0.15
u4 0.20
u5 u6 0.230.27
(a) 对该信源构造一个二进即时码；
(b) 计算信源熵 H (U ) 和平均码字长。
精选
精选
(b)
H () 0.05 log 0.05 0.1log 0.1 0.15 log 0.15 0.24 log 0.24
（a）求该信源的平稳分布。 （b）求该信源的熵率。
精选
解：(a) 一步转移概率矩阵为
P
设平稳分布为( ，1
00..26500..745
),则(，1 )P
( ，1
)解得
4
，所以
9
平稳分布为( 4 , 5). 99
(b) 信源熵率
H(X ) H(X2 | X1)
(x1)p(x精选2 | x1) log p(x2 | x1)
信息论基础
张松松
080803129 南京林业大学理学院
精选
目录
前言 第一章 随机变量的信息度量 第二章 随机过程信息度量和渐进等分性 第三章 数据压缩和信源编码 第四章 数据可靠传输和信道编码
精选
绪论
信息论20世纪40年代后期在通讯
工程实践中，由通讯技术与概率论随机过 程和数理统计相结合而发展起来的一门科 学，是专门研究信息的有效处理和可靠传 输的一般规律的科学。
进字母集的即时码，其码
1 。
反之，对给定的满足上述不等式i的一组 们为码字长的一个即时码。
(l1, l2 ,lm ) ，必存在以他
注1 成立。
定理的结论对构成即时码的任何可列无穷码长集 l1, l2 也
注 2 克莱夫特不等式对唯一可译码也成立。
定义三 一个 进唯一可译码的冗余度定义为其平均长度与信源熵的差，
(b) p(x 0) 1 , p(x 1) 2 , p(Y 0) 1 , p(Y 1) 1
3
3
2
2
q(x 0, y 0) 1 , q(x 0, y 1) 1 , q(x 1, y 0) 1 , q(x 1, y 1) 1