该信源发出的信息序列为(202 120 130 213 001 203 210 110 321 010 021 032 011 223 210)。
求：
(1)此消息的自信息量是多少？
(2)此消息中平均每符号携带的信息量是多少？
解：
(1)
此消息总共有14个0、13个1、12个2、6个3,因此消息发出的概率是：
此消息的信息量是：I二-log p =87.811 bit
3.2某一无记忆信源的符号集为｛0, 1｝，已知信源的概率空间为
;x 口0 1:
]P(X)」J/4 3/4：
(1)求信息符号的平均熵；
⑵ 由100个符号构成的序列，求某一特定序列(例如有m个“0”和(100 - m个“1”)
的自信息量的表达式；
⑶计算⑵中序列的熵。
解：
(1)
丁"133、
H(X)二一p(X|) log p(X|) log log 0.811 bit
i\_4 4 4 4 J
100 -m
3
—,100
4
3〔00 -m
l(xj - -log p(xj - -log 10厂=41.5 1.585m bit
4
H(X100) =100H(X) =100 0.811 =81.1 bit
其概率空间为
；X L X1 = 0 X2 =1 X3 = 2 X4 = 3
J P(X)J '、3/8 1/4 1/4
1/8
离散无记忆信源
⑵
此消息中平均每符号携带的信息量是: I /n =87.811/45=1.951 bit
z-m 100 -m
g盯(4〕
3.5某信源的消息符号集的概率分布和二进制代码如题表 3.2所列
(1)求信息的符号熵；
(2)求每个消息符号所需要的平均二进制码的个数或平均代码长度。
进而用这一结果求码序列中的一个二进制码的熵；
(3)当消息是由符号序列组成时，各符号之间若相互独立，求其对应的二进制码序列中出现
0和1的无条件概率P o和P i，求相邻码间的条件概率P o/1、P l/0、P i/1、P o/o。
解：
(1)
「1 1 1 1 1 1 1 1 \
H(X) - p(xjlogp(x) log log log log 1.75 bit
i(2 2448888 丿
⑵
- 丁1111
L =E(h)=為p(x)h 1 ——2 — 3 — 3=1.75
i 2 4 8 8
1 1
H N(X) H (X) H(X) =1 bit
N L
设消息序列长为N，则u0、u1、u2、u3的个数分别为N/2, N/4, N /8, N/8个。
N N N N 7N
则0的个数为一1 — 1 — 1 — 0 =——
2 4 8 8 8
N N N N 7N
而1的个数为0 1 2 3 =
2 4 8 8 8
因而p0 = p1 = 0.5
P0/1 二P10 / P1 =屮P
0/0 = P00 / P0
P1/0 二p
01
/ p
1
二2__2
1
P1/1 二
p
11
/ p
1
3.7设有一个信源，它产生0, 1序列的信息。
该信源在任意时间而且不论以前发生过什么消息符号，均按P(0) = 0.4 ，P(1) = 0.6 的概率发出符号。
(1)试问这个信源是否是平稳的；
⑵ 试计算出乂)，H(X3/X I XQ及Hs
(3)试计算出乂)并写出乂信源中可能有的所有符号。
解：
⑴
这个信源是平稳无记忆信源。
因为有这些词语：“它在任意时间而且不论以前发生过什么符号
⑵
2
H(X ) =2H(X) 一2 (0.4log0.4 0.6log0.6) =1.942 bit
H(X3/X!X2)=H(X3)-八P(xjlog p(xj (0.4log0.4 0.6log0.6) =0.971 bit
i
H 一- 二lim H(X N/X!X2...X NI^H(X N^0.971 bit
-N _^O
⑶
H(X4) =4H (X) —4 (0.4log 0.4 0.6log 0.6) = 3.884 bit
X4的所有符号：
0000 0001 0010 0011
0100 0101 0110 0111
1000 1001 1010 1011
1100 1101 1110 1111
3.11有一马尔可夫信源，已知转移概率为p(S/S1)=2/3，p(S2/S)=1/3，p(S/S2)=1，P(S2/S2)= 0。
试画出状态转移图，并求出信源熵。
解:
P
(S
1
)
= p(S i
) p(S l / S
1
)+
p(S 2
) p(S 1
/ S 2
)
p( S 2
) = p(S 2
)p(S 2
/ S 2
) + p(
S )
p(S
2
/ S j ) 2
p(S 1 )
P(S
2) 3 1 -3 p(S 1) 1 p(S 1)
3 p(S i )
P
（S 2） P （S 2
） P(SJ p(S 2) =1 jp(S 1)=3/4 :p(S 2)=1/4 H ：：-八、p(S)p(S j /S)log p(S j /S i ) i j 3 2 2 3 1 1 log log 4 3 3 4 3 3 = 0.689 bit 3.21黑白传真机的信息元只有黑色和白色两种 X=｛黑，白｝，一般气象图上黑色出现的概率为 P(黑)=0.3，白色出现的概率为P(白)=0.7，黑白消息前后没有关联，其转移概率为 P(白 /白)=0.9，P(黑/白)=0.1 ，P(白/黑)=0.2，P(黑/黑)=0.8。
求该一阶马尔可夫信源 的不确定性H(X/X)，并画出该信源的状态转移图 解： ds) = p(S 1)p(S 1/sj + p(S 2)p(s/S 2) < 、P( S 2 ) = P(S 2 ) P( S 2 / S 2 )
* p( S 1 ) p( S 2 / S 1 )
；P(SJ =0.8p(SJ +0.1p(S 2)
p©) =0.9p(S 2)+0.2p(SJ ；p(S 2)=2p(S) PS 1) +p(S 2)=1 :P(SJ =1/3 PS 2) =2/3 H ：：-八 ' p(S i )p(S j /S)log p(S j /S i ) i j ,Z
1 1
2 2〕 —汉 0.8log0.8 + —汉 0.2log0.2+—^0.1log0.1 + — ^0.9log0.9 1 <
3 3 3 3 J = 0.553 bit I
S 2
-/ p(白/
白)=0.9
)=°.2
3.23 设信源产生 A, B, C 三种符号 p(B/B)=1/2，p(A/B) = p(C / B) = 1/4，p(A/A) = 5/8， p(B/A)=1/4， p(C/A)=1/8，p(C/C)=5/8， p(B/C) =1/4，p(A/C) =1/8。
试计算冗余 度。
解：
5 11 P(S A )=石 P(S A )+;P(S B )
P(S c )
8 4
8 1
1
1
^P(S B ) = ：P (S A ) +；；P (S B )
P(S C )
4 2 4 115
p(S c )=匚 P(S A ) P(S B ) +匚 P(S C )
8 4 8
P(S A )二 P(S B )二 P(S C ) P(S A ) P(S B ) p(S c ) =1
3
3
3
H 比=—E Z Z p(e)p(q /e)log p(e j /ej
j k
1 5 1
r 1111 log log p log — |I3 8
8 3 4 4 3 8 8
1 1 1 1 1 1 1 1 1
log log log- 3 4 4 3 2 2 3 4 4 11111115 5
log log log 3 8 8 3 4 4 3 8 8 = 1.366 bit
R =1_H
―迦=o.138
H o log 3
P(S A ) P(S B ) .P(S C ) = 1/3 = 1/3
= 1/3
3.26 一阶马尔可夫信源的状态图如下图所示。
信源X的符号集为{0, 1,2}
(1)求平稳后信源的概率分布；
⑵求信源的熵比。
3
3
3
H 八 p(e)p(n / e)log p(e j /e)
i j
k
4
3 3
4 1 1 log log — _11 4 4 114 4 3^2311
log
log - 11 3 3 113 3
—1 log 1 — -log-
解:
⑴ P(S i
) P （S 2） P （S 3） P(S i ) P （S 2） P （S 1） P （S 2） P （S 3） ⑵
3 1 p(sj - P(S 3)
4 4 2 1
=3 P(S 2) 4 P(S 1) 1 3 =3 P(S 2) 4 P(S 3) 二 P （S 3）
十S 1
） =4/11
=
3/11 =4/11
11 4 4 114 4 = 0.840 bit。