第一次作业────第二章
2.1消息源以概率发送5种消息
16/1,16/1,8/1,4/1,2/154321=====P P P P P 符号。
若每个消息符号出现是独立的，求每个消息符号的54321,,,,m m m m m 信息量。
解：bit
P m P m I 1log )(log )(12121=-=-=bit
P m P m I 2log )(log )(22222=-=-=bit
P m P m I 3log )(log )(32323=-=-=bit
P m P m I 4log )(log )(42424=-=-=bit
P m P m I 4log )(log )(52525=-=-=2.3一个离散信号源每毫秒发出4种符号中的一个，各相互独立符号出现的概率
分别为。
求该信号源的平均信息量与信息速率。
1.0,
2.0,
3.0,
4.0解：
nit/s 85.1279)(R nit,1.27985)(:
,(tet)/s 83.555)(R (tet),0.55583)(:
,10bit/s 44.1846)(R bit,1.84644)(:
,2)
1.0log 1.0
2.0log 2.0
3.0log 3.0
4.0log 4.0()
(log )()(1=========+++-=-=∑=t
X H X H e t
X H X H t
X H X H x p x p X H N
i i i 分别为平均信息量与信息速率为底时以哈哈分别为平均信息量与信息速率为底时以分别为平均信息量与信息速率为底时以2.6已知非对称二进制信道,输入符号的概率为
=⎪⎪⎭⎫ ⎝⎛2211,,P x P x ⎪⎪⎪⎭
⎫ ⎝⎛431,41,0信道转移概率矩阵
=⎥⎥⎥⎥⎦
⎤⎢⎢⎢⎢⎣⎡)1/1()1/0()0/1()0/0(P P P P ⎥⎦
⎤⎢⎣⎡
9.01.02.08.0求：⑴ 输出符号集的平均信息量；
Y )(Y H ⑵ 条件熵与；
)/(Y X H )/(X Y H ⑶ 平均互信息量。
),(Y X I 解：⑴ 根据输入符号概率和信道转移概率矩阵可求得输出符号Y 的概率 725.09.0432.041)1/1()0/1()1()(275.01.04
38.041)1/0()0/0()0()(。
10。
21221121=⨯+⨯=⨯+⨯===⨯+⨯=
⨯+⨯==P P P P P y p P P P P P y p ，y y Y Y 则
表示输出为分别用因此nit
0.5880.255bit 849.0)
725.0log 725.0log 275.0log 275.0()(log )()(21
或哈或=⨯+⨯-=-=∑=i i i y p y p Y H ⑵
nit
0.3680.160532.0)9.0log 9.04
31.0log 1.0432.0log 2.0418.0log 8.041()]
1|1(log )1|1()1|0(log )1|0()
0|1(log )0|1()0|0(log )0|0([)
|(log )|()()|(log )()/(2211,或哈或bit P P P P P P P P P P P P x y p x y p x p x y p y x p X Y H i j j i j i i i j j i j i =⨯⨯+⨯⨯+⨯⨯+⨯⨯-=⨯+⨯+⨯+⨯-=-=-=∑∑∑9310.0725
.0675.0)1()1,1()1|1(,2727.0275.0075.0)0()1,0()0|1(069.0725.005.0)1()0,1()1|0(,7273.0275.02.0)0()0,0()0|0(675.04
39.0)()|()1,1(,075.0431.0)()|()1,0(05.04
12.0)()|()0,1(,2.0418.0)()|()0,0(:
)|(),|(log )()/(||||222221112111|,=============⨯===⨯===⨯===⨯
==-=∑Y XY Y X Y XY Y X Y XY Y X Y XY Y X XY XY XY XY i j Y X i j j
i i j P P P P P P P P P P P P x p x y p P x p x y p P x p x y p P x p x y p P y x P y x p y x p Y X H 先计算要求
因此：
)()|()()|()|()()|()()|(nit
0.3430.149495.0)
9310.0log 9310.0725.0069.0log 069.0725.02727
.0log 2727.0275.07273.0log 7273.0275.0()]
1|1(log )1|1()1()1|0(log )1|0()1()
0|1(log )0|1()0()0|0(log )0|0()0([)
|(log )|()()|(log )()/(||||||||,Y H X Y H X H Y X H X Y H Y H Y X H X H Y X H bit P P P P P P P P P P P P y x p y x p y p y x p y x p Y X H Y X Y X Y Y X Y X Y Y X Y X Y Y X Y X Y j
i j i j i i i j j i i j -+=⇒-=-=⨯⨯+⨯⨯+⨯⨯+⨯⨯-=⨯+⨯+⨯+⨯-=-=-=∑∑∑也可以用或哈或⑶ nit
0.2200.095bit 317.0)|()(),(或哈或=-=X Y H Y H Y X I 2.10设连续随机变量的峰值有限，。
试证：
x M x M <<-⑴ 若⎩⎨⎧>≤≤-=M x M x M M x f x ||0
)2/(1)(则相对熵dx x f x f X H x x ])
(1[log )()(2⎰
∞∞-=取最大值；⑵ 最大相对熵。
)2(log )(2max M X H =解：⑴ 隐含条件为 1
)(=⎰+∞∞-dx x f x )
(2)(,0log )(log ,02
ln 1)(log :
)()();()(),(log )()(,0)
()(:)(])(1[log )()(,2log 22222常数所以即得和代入可以解最大的使根据变分法C x f e x f x f x x F x f x x f x f x F x f x f F x f dx x f x f X H e x x x x x x x x x x x ===+--=+--=-==∂∂+∂∂=-∞
∞-⎰
λλλϕϕϕλ因此，M
C x f C M Cdx dx x f dx x f x M
M M
M x x 21
)(12)()(==⇒=⨯===⎰⎰⎰+-+-+∞
∞-⑵ 把求证得到的代入有：M
x f x 21)(=dx x f x f X H x x )(1[log )()(2⎰∞∞-=)2(log )2(log 21])
(1[log )()(222M dx M M dx x f x f X H M M x x ===⎰⎰-∞
∞-
2.12已知电话信道的带宽为
3.4kHz 。
试求：
⑴ 接收端信噪比时的信道容量；
30dB S/N =⑵ 若要求该信道能传4800b/s 的数据，则接收端要求最小信噪比S/N 为多少dB 。
解：
⑴ 根据香农公式, 代入得：)1(log 2N
S W C +=)30(1000/,4.3dB N S kHz W 即==s
Kb C /89.339.9673400)10001(log 34002=⨯=+=⑵根据香农公式，代入得)1(log 2N S W C +
=⇒12/-=W C N S b/s 4800≥C dB 2.2lg 10,66.112123400/4800/≥=-≥-=N
S N S W
C 因此要求的最小信噪比为2.2dB
2.14黑白电视机图像每幅含有个像素，每个像素有16个等概出现的亮度5103⨯等级，要求每秒钟传送30帧图像,若信道输出S/N 为30dB ，计算传输该黑白电视图像所要求的信道的最小带宽。
解：每个像素的信息量为：bit
4)(log )(=-=x p x I 信息速率为：s bit x I R /10
6.3)(1033075⨯=⨯⨯⨯=因此，s
bit R C /106.37⨯=≥所以根据香农公式得：1(log 2N S W C +=MHz N S C W 6.3)
1001(log 106.3)/1(log 27
2≅+⨯≥+=要求的最小带宽约为3.6 MHz 。