2-9 国际莫尔斯电码用点和划的序列发送英文字母，划 用连续三个单位的电流脉冲表示，点用持续一个单位的 电流脉冲表示。其划出现的概率是点出现概率的1/3， 计算：（1）点和划的信息量；
（2）点和划的平均信息量。
解：
“－”出现的概率 是
“•”出现概率的1/3
p(•)
(1) I(•)＝ Log43
3.27b4i/tsymbol
(5)包含1的组合：{(1,2),(1,3),(1,4),(1,5),(1,6), (2,1), (3,1),(4,1), (5,1),(6,1),(1,1)}
p(xi )1616113161 I(xi)logp(xi)log31611.710bit
2.7 设有一离散无记忆信源，其概率空间为
I(xi)lopg (xi)
条件自信息量：I(xi yi)lop(gxi yi)
平均自信息量、平均不确定度、信源熵：
条件熵：
H (X ) p(xi)lop(g xi) i
H (X Y ) p (x i,yj)I(x iyj) p (x i,yj)lo p (x g iyj)
ij
ij
联合熵：H (X Y ) p (x i,y j)I(x i,y j) p (x i,y j)lo p (x g i,y j)
(4)两个点数求和的概率分布如下：
P(XX)312611381142195
67 51
366
89 51
369
110111112 121836
H(X) p(xi)logp(xi)
i
21log121log121log121lo1g25log51lo1g 36 36 18 18 12 12 9 9 36 366 6
X x10 x21x32 x43
P3/8
1/4
1/4
1/8
（1）求每个符号的自信息量。 （2）信源发出一消息符号序列为{202 120 130 213 001 203 210 110 321 010 021 032 011 223 210}， 求该序列的自信息量和平均每个符号携带的信息量。
解： I(x1)log2 1 log281.415bit
3
p() 1
4
4
Байду номын сангаас
0.41b5it I( )= Lo(4g)2bit
(2) H= 1 4Lo(4g)3 4Log 4 3 0.81Bit1/符号
2-10 在一个袋中放5个黑球、10个白球，以摸一个球 为一次实验，摸出的球不再放进去。求：（1）一次实 验包含的不确定度；（2）第一次实验X摸出的是黑球， 第二次实验Y给出的不确定度；（3）第一次实验X摸 出的是白球，第二次实验Y给出的不确定度； （4）第二次实验Y包含的不确定度。
解：(1)
p(xi )16161616118
I(xi)logp(xi)log1184.170bit
(2)
p(xi )1616316
(3)两个点数I(的xi)排列l如o下gp(：xi)log3165.170bit
共有21种组合：其中11，22，33，1211
12 22
13 14 23 24
15 16 25 26
假设每个消息的发出都是等概率的，则： 四进制脉冲的平均信息量
H (X 1)lon glo4 g2b/istymb
八进制脉冲的平均信息量
H (X 2)lon glo8 g 3b/istymb
二进制脉冲的平均信息量
H (X0)lon glo2 g1b/istymb
所以，四进制、八进制脉冲所含信息量分别是二进制 脉冲信息量的2倍和3倍。
ij
ij
互信息：I(X ;Y ) ijp (x i,yj)lop ( p g y (y jx )i) ijp (x i)p (yjx i)lop ( p g y (y jx )i)
j
j
熵的基本性质：非负性、对称性、确定性
2.3 同时掷出两个正常的骰子 ，也就是各面呈现的概 率都为1/6，求： (1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息； (3) 两个点数的各种组合（无序）对的熵； (4) 两个点数之和（即2, 3, … , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。
第一章
信息、消息、信号的定义？三者的关系？ 通信系统的模型？各个主要功能模块及作用？
第二章
• 信源的分类？
• 自信息量、条件自信息量、平均自信息量、 信源熵、不确定度、条件熵、疑义度、噪 声熵、联合熵、互信息量、条件互信息量、 平均互信息量以及相对熵的概念？计算方 法?
• 冗余度?
具有概率为 p(xi) 的符号 x i 自信息量：
平均每个符号携带的信息量为 87.81 1.95 bit/符号 45
2.8 试问四进制、八进制脉冲所含信息量是二进制脉冲 的多少倍？ 解：四进制脉冲可以表示4个不同的消息：{0, 1, 2, 3}
八进制脉冲可以表示8个不同的消息：{0, 1, 2, 3, 4, 5, 6, 7}
二进制脉冲可以表示2个不同的消息：{0, 1}
44，55，66的概率是
31 32 33 34 35 36
11 1 6 6 36
41 42 43 44 51 52 53 54 61 62 63 64
45 46 55 56 65 66
其他15个组合的概率是 211 1 6 6 18
H (X ) i p (x i)lo p (x ig ) 6 3 1l6 o 3 1 g 1 6 1 1 5l8 o 1 1 g 8 4 .3b 3/si7tym
p(x1)
3
同理可以求得
I( x 2 ) 2 b ,I( i x 3 ) t 2 b ,I( i x 4 ) t 3 bi
因为信源无记忆，所以此消息序列的信息量就等 于该序列中各个符号的信息量之和，就有：
I 1 4 I ( x 1 ) 1 3 I ( x 2 ) 1 2 I ( x 3 ) 6 I ( x 4 ) 8 7 . 8 1 b i t
解：（1） p(黑） 5 1 p(白) 10 2
15 3
15 3
H(Y)=
(2) P(黑/黑)=
P(白/黑)=
H (Y/黑 4 ） lo 1g 4 1l0 o 1g 4 0 .6 8 1441410
(3) P(黑/白)= H(Y/白)=