（3）若信道通频带减为0.5MHz时，要保持相
同的信道容量，信道上的信号与噪声的平均功 率比值应等于多大？
解：（1）由信道容量公式C = B log(1 + S，) 得：
N
C = 1 * log(1 + 10) = log11 (bit/ s)
（2）由信道容量公式得：
B=
C
log(1 + S )
N
所以： B = log11 (Hz) log 6
i=1
H (S )
h=
= 0.8113
L1
4.6（续）
②N=2时，编码过程如下：
所以：
S2
概率
霍夫曼编码
s1s1
0.5625
0
s1s2
0.1875
11
s2s1
0.1875
100
s2s2
0.0625
101
L2 = 1? 0.5625 2? 0.1875 3? (0.1875 0.0625) = 1.6875 (码元/ 二符号)
L = 2.35
s3
0.2
11
s4
0.2
000
s5
0.15
001
4.8（续）
信源熵为：
5
å H (S ) = - P(si ) log P(si ) = 2.3037 bit / sign
i=1
编码效率为：
H (S )
h=
= 0.98
L
5.11 已知一个平均功率受限的连续编号，通过 带宽B=1MHz的高斯白噪声信道，问 （1）若信噪比为10，信道容量为多少？ （2）若信道容量不变，信噪比将为5，信道带 宽应为多少？
1
p/2 p/2
2
p
2.16（续）
解：（1）一阶马尔可夫信源的状态空间 E A {0,1, 2} 。由 状态转移图中分析可知，三个状态多是正规常返态。此状 态马尔可夫链是时齐的、状态有限的和是不可约闭集。所 以具有各态历经性，平稳后状态的极限分布存在。有：
Q(Ei ) P(ai ) i 1, 2,3 Ei E, ai A 而E A {0,1, 2}

3 14
2.14（续） 这个链的极限平均符号熵为：
（3）
H

lim
N
HN
(X)

lim
N
H
(
X
N
|
X N1gggX1)

H2
33

P(ai )P(aj | ai ) log P(a j | ai )
i1 j1
1.251 bit/符号
H0 log 3 1.585 bit/符号

P(a1
)


1 2
P(a1 )

2 3
P(a2 )

2 3
P(a3 )

P(a2
)

1 4
P(a1 )

1 3
P(a3 )
P(a3 )

1 4
P(a1 )

1 3
P(a2 )
P(a1) P(a2 ) P(a3 ) 1
解得：
P(a1 )

4 7
,
P(a2
)

P(a3 )
3 2
H(X
|
S

s2 )

H

0,
1, 2
1 2
1
H ( X | S s3 ) H 1, 0, 0 0
2.17(续) （3）此马尔可夫信源的熵：
33
H H2
Q(si )P(ak | si ) log P(ak | si )
i1 k 1
3
Q(si )H (ak | si ) k 1
2.14(续)
P(a1a1a1 )

P(a1)P(a1
|
a1)P(a1
|
a1)

1 8
1
P(a1a1a2 ) P(a1)P(a1 | a1)P(a2 | a1) 16
P(a1a1a3
)

P(a1)P(a1
|
a1)P(a3
|
a1)

1 16
gggg
其满足：
333
P(aia jak ) 1
H¥ = p(S1)p(S1 | S1) + p(S1)p(S 2 | S1) + p(S 2 )p(S1 | S 2) + p(S2)p(S2 | S2) = 0.6887 bit / sign
2.14 有一个一阶平稳马尔可夫 链，X1，X2 ，，Xr ，各 X r
取值于 A a1, a2, a3 。已

1 2
Q ( S1
)

Q(S3
)
P(a2 )

1 4
Q ( S1
)

1 2
Q(S2
)
1
1
P(a3 ) 4 Q(S1 ) 2 Q(S2 )
解之得：
P(a1 )

3 7
P(a2
)

2 7
P(a3 )

2 7
（2）输出符号条件熵为：
H(X
|
S

s1 )

H

1, 2
1, 4
1 4

解之得：
Q(S1) Q(S3)
Q(S2
)

3 4
Q(S1)

1 2
Q(S2 )
Q(S3
)

1 4
Q(S1)

1 2
Q(S2
)
Q(S1) Q(S2 ) Q(S3) 1
Q(S1)

2 7
Q(S2
)

3 7
Q( S3 )

2 7
2.17（续）
符号极限概率为：
P(a1 )

2 7
H

1 2
,
1 4
,
1 4


2 7
H

0,
1 2
,
1 2


3 7
H
1, 0, 0
6 7
4.2 离散无记忆信源的概率空间为：
轾 犏 犏 犏 臌 P (Ss)
=
轾 犏 犏 犏 s31 犏 臌 4
s2 1
4
若对信源采取等长二元编码，要求编码效
率 h = 0.96 ，允许译码错误概率 d £ 10- 5 ，试计
（1）求信源平稳后的概率分布P(0), P(1), P(2). （2）求此信源的熵。
（3）近似认为此信源为无记忆时，符号的概率分布等于平稳 分布。求近似信源的上H(XH)并 与 进行比较。
（4）对一阶马尔可夫信源p取何值时H 取最大值，又当p=0 和p=1时结果如何？
p
0
p/2
p/2
p/2 p/2
H
p log
p
p log
p 2


1
bit/符号
2.17 设马尔可夫信源的状态集合 S {S1, S2 , S3} ，
符号集 X {a1, a2 , a3}
在某状态Si{i 1, 2, 3下} 发出符
号：ak (i 1, 2, 3)的概率为：
S
s 1
P(ak | Si )(i 1, 2,3; k 1, 2,3)
根据状态转移得状态一步转移矩阵：
p

P= p / 2

p
/
2
p/2 p p/2
p / 2

p / 2
p

2.16（续）
QQQ(((102)))

PT
Q(0)
Q(1)

Q(2)


p p p
/ /
2 2

Q(0) Q(1) Q(2) 1
|
S1 )

1 3
，P(S1
|
S2 )
1，P(S2
|
S2 )

0
试画出状态转移图，并求出信源熵。
解：根据转移概率，得状态转移图如下所示：
2/3
1/3
S1
S2
1
å 求解信源熵： p(S j ) = p(Si )p(S j | Si )
得：
p(S1) =
3 4
，p(S
2
)
=
1i 4
p(S1) + p(S2) = 1
知起始概率 P(x) 为：
1
1
p1

P( X1

a1)

, 2
p2

p3

4
转移概率如右表所示：
j1
i
1 1/2 2 2/3 3 2/3
23
1/4 1/4 0 1/3 1/3 0
2.14（续）
（1）求X1X2X3的联合熵和平均符号熵； （2）求这个链的极限平均符号熵； （3）求H0,H1,H2和它们所对应的冗余度。
则： 所以：
L 2 = 0.84375 (码元/ 符号) 2
H (S )
h2
=
= 0.84375
0.962
4.6（续）
③当 N = ? 时，由香农第一定理可知，必然
存在唯一译码，使
lim
N
LN N
= Hr (S )
而霍夫曼编码为最佳码，即平均码长最短 的码，故