性）
2019/12/21
=H(XL-2/X1X2…XL-3) （ 平 稳
16
(3) HL(X) ≥H(XL/XL-1)
证明: HL(X)=H(X1X2…XL)/L
= [H(X1)+H( X2/X1)+…+H(XL/X1X2…XL1)]/L
≥ [LH(XL/X1X2…XL-1)]/L = H(XL/XL-1)
（2）H（X1）≥H（X1／X2Байду номын сангаас H（X2） ≥ H（X2／X1）
2019/12/21
7
• 当前后符号无依存关系时，有下列推论： H（X1 X2）＝H（X1）＋H（X2） H（X1）= H（X1／X2） H（X2）= H（X2／X1）
2019/12/21
8
2. 由有限个有记忆序列信源符号组成的序列 • 设：信源输出的随机序列为X，X＝(X1 X2…XL)，
i
L
L

p(xil ) log
p(xil )
i l 1
l 1
L
L

p(xil ) log p(xil )
l 1 i l 1
L
H(Xl)
4
l 1
L
• 其中H (xl ) p(xil ) log p(xil ) i l 1
（2）若信源的序列满足平稳特性（与序号l无关） 时，有p(xi1)=p(xi2)=…=p(xiL)=p，p(xi)＝pL， 则信源的序列熵又可表示为H(X)=LH(x).
2019/12/21
2
设：随机序列的概率为 ： p(X=xi)=p(X1=xi1,X2=xi2,……,XL=xiL) =p(xi1)p(xi2/xi1)p(xi3/xi1xi2)…p(xiL/xi1xi2…xiL-1) = p ( x i1) p ( x i2/ x i1) p ( x i3/ x i12) … p ( x iL/ x i1L-1) 式中 xi1L-1=xi1xi2…xiL-1
第四节 离散序列信源的熵
•
问题：
1.
如何描述离散无记忆序列信源的序列熵？
2.
如何描述离散有记忆序列信源（平稳序列和齐次遍历马氏链信源）的序列熵？
2019/12/21
1
2.4.1 离散无记忆信源的序列熵
• 设信源输出的随机序列为X，X＝（X1 X2…Xl…XL），序列中的变量
即序列长为L。
Xl x1, x2,..., xn,l 1,2,..., L
则信源的序列熵定义为 H(X)=H(X1X2…XL)
=H(X1)+H(X2/X1)+…+H(XL/X1X2….XL-1)
L
记作 H（X）=H（XL）= H ( X l / X l1) l 1
2019/12/21
9
• 平均每个符号的熵为
HL（X）=H（X）/L
L
• 若当信源退化为无记忆时，有
H
比
特
/
符
（ H1
号
(
X
)
i0HXj(02X
1
)


i
2／ p(ai
0
)
logX2 p1(ai
)

） 1.543
=
单
符
号
信
源
熵
比特/符号
发二重符号序列的熵
H（X1 X2）=H（X1）+H（X2/X1）
2019/12/21
=1.543+0.872=2.415 比特/符13
• 说明：
比较上述结果可得：
l 1
H（X）=
H（Xl ）
• 若进一步又满足平稳性时，则有
H（X）=LH（X）
2019/12/21
10
例2-4-1
•已知: 离散有记忆信源中各符号的概率空间为:
现
信
源
发
X
出P二
重 符1a10 /号46序4a列/19
消1/息a42 （
a
i
,
a
j
）
，
这
两个符号的概率关联性用条件概率p(aj/ai)表示，
平均每个符号熵为
2019/12/21
HL(X)=H(X)/L=H(x )(单个符号信源的符号5
第四讲
2003年5月6日
2019/12/21
6
2.4.2 离散有记忆信源的序列熵
•
问题
1.
对于由两个符号组成的联合信源，有下列结 论：
（l）H（X1 X2）＝H（X1）＋H（X2／X1） = H（X2）+ H（X1／X2）
H2（X）<H1（X），即二重序列的符号熵值较单符号熵变小了， 也就是不确定度减小了，这是 由于符号之间存在关联性（相关性）造成的。
2019/12/21
14
3.
离散平稳序列信源
(1) 时间不变性:联合概率具有时间推移不变性：
p{Xi1=x1,Xi2=x2,…….,XiL=xL} = p{Xi1+h=x1,Xx2+h=x2,……,XiL+h=xL }
同理,有 H∞ (X) ≤ … ≤ HL+1(X) ≤ HL(X) ≤ HL-1(X)
≤…
2019/12/21
18
(5) H∞ (X)=
lim HlLimL(X)
L=
H(XL/ X1X2…XL-1)
H∞ (X)叫极限熵或极1限信息量。
Lk
证明： HL+k(X) =
2019/12/21
17
(4) HL(X) 是L的单调递减函数
证明: LHL(X)=H(X1X2…XL)
=H(X1X2…XL-1)+ H(XL/ X1X2…XL-1)
= (L-1)HL-1(X)+ H(XL/ XL-1)
≤ (L-1)HL-1(X)+ HL(X)
所以 HL(X) ≤ HL-1(X)
2019/12/21
3
• 分析： （ 1 ） 当 信 源 无 记 忆 （ 序 列 中 的 符 号 之 间 无 相 关 性 ） 时 ， p (x i) = p (x i1x i2… x iL) =
L
p(xil )
l 1
2019/12/21
H ( X ) p(xi ) log p(xi )
并由下表给出。求离散信源的序列熵和平均每
个符号的熵?
2019/12/21
11
ai
aj
a0
a1
a2
a0
9/11 2/9 0
a1
1/8 3/4 1/8
a2
0
2/9 7/9
2019/12/21
12
• 解：条件熵 2 2

p(ai a j ) log 2 p(a j / ai ) 0.872
2019/12/21
15
(2) H(XL/XL-1) 是L的单调递减函数 证明:
H(XL/X1X2…XL-1)≤H(XL/X2X3…XL-1) (条件较多的熵小于或等于减少一些条件的熵)
=H(XL-1/X1X2…XL-2)（平稳性） ≤H(XL-1/X2X3…XL-2) (条件较多的熵小于或等于减少一些条件的熵)