信息论
1) m阶马氏链的符号转移概率已给定:
p(xm1 / x1 xm )其中xi取自A {a1L an}
2) 做m长符号序列到信源状态的映射（x1 xm） s j ，
xi 取遍 A {a1L an} ，i=1,…,m； 状态取自 s j
Am {1,2,L nm} ，nm为状态数；
m§阶2马.1氏链自的信处息理和方互法信(2息)
H
() 3
0.918
比特/符号
H0 log 2 1 比特/符号
1 H 1 0.896 0.104
H0
信息论
本章 小结
1 离散信源X的N次扩展源的H熵(X N ) N H (X ) 源无记忆时等式成立；
，仅当信
离
散
信
源
X
的
N
次
H
扩
N展( X
)
源
1H
N的
(
XN)
平
H
均
(
X)
符
号
熵
，仅当信源无记忆时等式
信息信论息基论础
字母 空格
A B C D E F G H
概率 0.1859 0.0642 0.0127 0.0218 0.0317 0.1031 0.0208 0.0152 0.0467
字母 I J K L M N O P Q
概率 0.0575 0.0008 0.0049 0.0321 0.0198 0.0574 0.0632 0.0152 0.0008
1:0.7 11
0:0.4
1:0.6
p(0)
0.41
0.2 2
0.33
0.4 4
1 3
p(1) 1 p(0) 2 3
例
信息论
一个二元二阶马氏源，符号集{0,1}，状态转移图如下图所示。
（3）求此马氏源的符号熵；
0:0.4
H i H (X / S i)
i
1 H (0.4) 2 H (0.2) 2 H (0.3) 4 H (0.4)
成立。
2、有记忆信源的符号熵：
1
H
(
X
)
lim
N
N
H
(
X
N
)
lim
N
H
(
X
N
/
X1L
XN)
并且 H (X ) H2(X ) L HN (X ) L H (X )
信息论
本章 小结
3．马氏源的符号熵：
本章
H (X ) j H (X / s j)
小结
j
n
其中 H ( X / s j) p j (ai ) log p j (ai )
★
信息论
3) 符号转移概率转换成状态转移概率 p( xm1 / x1 L xm ) p(s j1 / s j ) 其中, （x2 L xm1） s j1 （x1 xm） s j
4)
得到马氏源模型：
1 2 L
p(l / k )
nm
k,l
1,
...,
n
m
凸离§马§单函散氏2击.2链无数.1此1.N记处1次自添忆扩条加信信展标件息源题源和自的的互信熵N次信的息扩计息展算（源7）
信息信论息基论础
汉字近似概率表
类别 Ⅰ Ⅱ
汉字个数 140
625-140=485
所占概率P 0.5
（0.85-0.5）=0.35
Ⅲ
2400-
（0.997-0.85）=0.147
625=1775
Ⅳ
7600
0.003
每个汉字的概率Pi 0.5/140 0.35/485
0.147/1775
0.003/7600
（4）求 H0, H1, H2 , H3 和信源的冗余度。
00 1:0.6
0:0.3
解：
0.4 0.6 0 0
P
0
0 0.2 0.8
0.3 0.7 0 0
0
0 0.4 0.6
01 1:0.8
0:0.2
1:0.7 11
10 0:0.4
1:0.6
信息论
例 一个二元二阶马氏源，符号集{0,1}，状态转移图如下图 所示。
Page 12
凸自§§熵§然离单函22语散的击.2.数.言平1此31基.的稳处1自相有平添本关记自条加信均性忆性标信件息和信题互质和息自剩源余的信互（信度熵信息息(14）息)
单击此处添加标题
信息信论息基论础
根据上表,可近似估算汉 语信源的信息熵：
10000
H ( X ) pi log pi i 1 9.773 (比特/符号)
字母 R S T U V W X Y Z
概率 0.0484 0.0514 0.0796 0.0228 0.0083 0.0175 0.0013 0.0164 0.0005
Page 10
凸自§§熵§然离单函22语散的击.2.数.言平1此31基.的稳处1自相有平添本关记自条加信均性忆性标信件息和信题互质和息自剩源余的信互（信度熵信息息(12）息)
凸§§§K马马§离单Co函2齐2ol2尔m氏散.击n.2次.ot数2可.平e1此链g3n马1o.稳t夫处r的s氏1o自有平添信v信平链-记自条加信C源（稳均h忆息标信件6a的息分信）题p互m熵基布和息自源a本n的信互的方信(熵1概程信息)息含念(4息（)义1）
信息信论息基论础
定
马氏源：
义 ▲ 当前时刻输出符号的概率仅与
9
9
9
9
0.8957 比特/符号
1:0.6 01
00 0:0.2
1:0.8
1:0.7 11
0:0.3 10
0:0.4
1:0.6
x2 x1
例
信息论
一个二元二阶马氏源，符号集{0,1}，状态转移图如下图所示。
（3）求 H0, H1, H2, H3 和信源的冗余度。
0:0.4
H3 H 0.896 比特/符号
单击此处添加标题
信息信论息基论础
信源的 相关性
1
信源剩 余度 (冗余度)
2
自然语 言的相 关性和 剩余度
3
Page 7
§§离K马信§离单3o散齐2l2P氏m散击源.2a次.o无r.平链1此tg3马的1Co.稳记处状or氏1on相自有平添vc态忆链e-记条自加关p信C分（信均th忆标件信6性a息类信）源题p互m和自息源(的a4n的信互方)信N熵次程信息息(扩4息) 展源
信息信论息基论础
计算方法1：
当信源从某一状态转移到另一状态时, 输出 符号唯一, 则一个m阶马氏源的符号熵为:
H
(
X
)
lim
N
H
N
(
X
)
πT
h
m阶马氏源符号熵仅由平稳分布和 状态转移概率矩阵所决定。
凸§§§离马K马§离单3o函2散齐2氏l2P氏m散.击.2a次.o无源r数2.平链1此tg3马1Co.符稳记处状or氏1on自有平添号vc态忆信链e-记条自加p熵信C分（信均th忆息标的件信6a息类信）源题p互计m熵和自息源(的a算4n的信互的方)信N(熵7次程信息息含)(扩4息)义展源
信息信论息基论础定 理来自平稳马氏源的符号熵为J
H (X ) i H(X / s i) i 1
n
H ( X / s j) p j (ai ) log p j (ai ) i 1
§§离K马信§离单3o散齐2l2P氏m散击源.2a次.o无r.平链1此tg3马的1Co.稳记处状or氏1on相自有平添vc态忆链e-记条自加关p信C分（信均th忆标件信6性a息类信）源题p互m与和自息源(的a4n的信剩互方)信N熵次程余信息息(扩4度息) 展源
p(1| 0) 11/ 3 2 / 3
p(1|1) 1 2 / 3 1/ 3
H (X2 | x1 0) H (X2 | x1 1) H (1 / 3)
H2 H ( X 2 / X1) p(x1)H ( X 2 | x1) H (1 / 3) 0.918 比特/符号
x1
1
H1
H
( X1 )
2 Part Concept
信息信论息基论础
如果起始状态概率为平稳分布, 则
N次扩展源的平均符号熵为:
H ( X1X 2 L X N ) H (π) ( N m)πT h
HN(X)
1 N
H ( X1X 2 L
XN)
1 [H (π) (N m)πTh] N
凸§§§马K§离单o函2氏齐2l2m散.击.2源次.o数2.平1此g3马符1o.稳处r氏1o号自有平添v信链-熵记自条加信C（均h忆的息标信件6a息信）题p计互m熵和息自源算an的信互的方信(1熵程信)息息含(4息)义
H
lim
n
H
(
X
n
/
X1
X n1 )
Hn H ( X n / X1 X n1)
（n-1阶马氏源）
Page 8
§§离K马信§离单3o散齐2l2P氏m散击源.2a次.o无r.平链1此tg3马剩1Co.稳记处状or氏1on余自有平添vc态忆链e-记条自加度p信C分（信均th忆标件信6（a息类信）源题p互m冗和自息源(的a4n的信余互方)信N熵次程度信息息(扩4）息) 展源
x2
p(x1x2)
0
0
1/9
x1
1
2/9
1
2/9
P(x1=0)=
1/3
4/9
P(x1=1)=
2/3
1:0.6 01
00 0:0.2
1:0.8
1:0.7 11
0:0.3 10
0:0.4
1:0.6