36第一章信息、消息、信号的定义？三者的关系？ 通信系统的模型？各个主要功能模块及作用？ 第二章信源的分类？自信息量、条件自信息量、平均自信息量、信源熵、不确定度、条件熵、疑义度、 噪声熵、联合熵、互信息量、条件互信息量、平均互信息量以及相对熵的概念？ 计算方法？ 冗余度？具有概率为p （x ）的符号x 自信息量：I （X ）- -iogp （x ） 条件自信息量：|（X i= —log p （X i y i ）平均自信息量、平均不确定度、信源熵：H （X ）二-為p （x ）log p （x ）iH (XY )=送 p (X i ,y j )|(X i y j ) 一瓦ijij联合熵： H (XY )=：Z p (X i ,y j )I(X i ,y j ^Z p (X i ,y j )log p (X i ,y j)ijij互信息： 弋pyx)亍 pyx) l(X;Y)=W p(X i , y .)log=S p(X i )p(y . X i )log j 入儿p(y j )j 入儿入p(y j )熵的基本性质：非负性、对称性、确定性2.3同时掷出两个正常的骰子，也就是各面呈现的概率都为 1/6，求:（1） “3和5同时出现”这事件的自信息； （2） “两个1同时出现”这事件的自信息；（3） 两个点数的各种组合（无序）对的熵和平均信息量； （4） 两个点数之和（即2, 3, , , 12构成的子集）的熵； （5） 两个点数中至少有一个是1的自信息量。

解: （1）I (xj =-log p(xj 工「log 丄 4.170 bit181l(xj - - log p(xj - - log 5.170 bit条件熵: p (X i ,y j )lo gp (X i y j )p(X i )11116 6 6 61 181 p(x"61 36(1 1 11、 H(X)=—E p(X j )log p(xj = — 6汉 一log — +15 汉一log — 丨=4.337 bit/symbol i< 36 36 18 18 丿(4)两个点数求和的概率分布如下：X234 5 6 7 8 9 10 11 12\=V1 115 15 11 1 1P(X)広 18 12 9 36 6 36 9 12 18 36 H(X) =p(X i )log p(X i )i(1 1 11 1 1 1 1 5511)=_2汉 log +2 乂 log+2 工 log +2乂 log +2 工 log + log< 36 36 181812 12 9 936 36 6 6 J= 3.274 bit / symbol(5){(1,2),(1,3),(1,4),(1,5),(1,6),(2,1),(3,1),(4,1),(5,1),(6,1),(1,1)}11 l(x 」--log p(x 」-- log 1.71036X x 1 = 0 x 2 = 1 x 3 = 2 x 4 = 32.7设有一离散无记忆信源，其概率空间为=f 丿 <3/8 1/41/4 1/8 丿(1 )求每个符号的自信息量 (2)信源发出一消息符号序列为 {202 120 130 213 001 203 210 110 321010 021032 011 223210}，求该序列的自信息量和平均每个符号携带的信息量18I (x 1) = log 2log 21.415bit p(x 1)3同理可以求得 1(x2)二 2bit, I (x3) = 2bit, I (x4) = 3bit因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和 就I =141(X 1) 131(X 2) 121(X 3) 61(X 4)=87.81bit11 12 13 14 1516 21 22 23 24 2526 31 32 33 34 3536 41 42 43 44 4546 51 52 53 54 5556 616263646566共有21种组合：其中11，22,33， 44,55, 66的概率是 1 1 X —6 6 ⑶两个点数的排列如下:1 1 1其他15个组合的概率是2 ——二—6 6 181 36p(X i )— 11 6 6 11 36bit解:2.8试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍?解：四进制脉冲可以表示 4个不同的消息，例如 八进制脉冲可以表示 8个不同的消息，例如 二进制脉冲可以表示 2个不同的消息，例如 假设每个消息的发出都是等概率的，则：四进制脉冲的平均信息量 H (XJ = log n = Iog4 = 2 bit/symbol 八进制脉冲的平均信息量 H (X 2) = log n = Iog8 = 3 bit/symbol 二进制脉冲的平均信息量 H (X 0) = log n = log2 = 1 bit/symbol所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的 2倍和3倍。

2-9国际莫尔斯电码用点和划的序列发送英文字母， 划用连续三个单位的电流脉冲表示，点用持续一个单位的电流脉冲表示。

其划出现的概率是点出现概率的1/3,计算：（1）点和划的信息量； （2 ）点和划的平均信息量。

解：；“一”出现的概率是“ ■•”出现概率的1/3.'4(1) K *) = Log - 1 34⑵ H = Log (4) Log 0.811' ' 4 4丿2-10在一个袋中放5个黑球、10个白球，以摸一个球为一次实验，摸出的球不在放进去。

求：（1） 一次实验包含的不确定度；（2） 第一次实验 X 摸出的是黑球，第二次实验 Y 给出的不确定度； （3） 第一次实验X 摸出的是白球，第二次实验 Y 给出的不确定度； （4） 第二次实验Y 包含的不确定度。

1 2解：⑴亍Lg +彳叫十嘶410（2） P （黑 /黑）=-P （白 /黑）=.'log 兰 ®logW=0.8614 4 14 1059⑶ P(黑伯)=-P(白 /白)=匚平均每个符号携带的信息量为87.81{0, 1,2, 3}{0, 1,2, 3, 4, 5, 6, 7} {0, 1} =0.4151( -)= Log(4) =2H(Y/ 黑)H(Y/ 白)=2 ⑷p(黑)上2丄上」p(白)匹9215 1415 14315 14 15 14 3l(X;y=0)=送 p(x y =0)log P (X ：y 、°) i P (Xi ) p(x = 0 y =0)丄-7rir+p(x =1心log= 0.4082-15已知信源发出a1和a2两种消息，且p(a1)=p(a2)=1/2,此消息在二进制对称信道上传 输，信道传输特性为 I(a1;b1)和 I(a1;b2)。

I(a1;b1)=log[2(1-；)]p(a1)1 2(3H(Y)=-丄.——：；：_0.9182-14在一个二进制信道中，信源消息X. {0,1}，且P (1)=P (0)，信宿的消息Y {01}，信道传输概率 P (y =1x=0)=1/4，P(y =0x=1)=1/8。

求: (1) (2) 解: 在接收端收到y=0后，所提供的关于传输消息 X 的平均条件互信息量l(X;y=0);该情况所能提供的平均互信息量 (1)l(X ；Y)。

P(ij)=7 打 1 _ + ----- > —Id回)6 2}7 91 7V ?>79+ ------ > —16 16P(i/j)= p(x =1 y =0) P (x=1)(2)方法1:■: I「二「，心廿八-10方法2:/ 6 >71十訂昭91p 71 7 T+亦呢P 1 辽丿■ 2 /=p(x =0 y =0) log 。

求互信息量p(b1a1) = p(b2a2) =1 — E , p(b1a2) = p(b2a1) =解：信道转移概率矩阵为P(j/i)=p(a1 b1)=p(a1) p(b1a1)p(b1)=0.311沁1p(a1) p(b2a1) = ?p(b2)二 12I (a1; b2) =log 豊：? =log(2；)p(a1)52.17每帧电视图像可以认为是由 3 10个像素组成的，所有像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平是等概出现，问每帧图像含有多少信息量？若有 一个广播员，在约 10000个汉字中选出1000个汉字来口述此电视图像，试问广播员描述此 图像所广播的信息量是多少 (假设汉字字汇是等概率分布， 并彼此无依赖)？若要恰当的描述此图像，广播员在口述中至少需要多少汉字？解：1)H (X) = log 2 n=log 2128 = 7 bit / symbol H(X N ) = NH(X) =3 1 05 7 = 2.1 106 bit/sy2)H(X) =log 2 n =log 210000 =13.288 bit/symbol H(X N )二 NH(X) =1000 13.288 = 13288 bit/symbol3)2-26 一个信源发出二重符号序列消息( X1，X2),其中第一个符号 X1可以是A,B,C 中的一 X2可以是D ,E,F,G 中的一个。

已知各个卩対为p(A)=1/2,p(B)=1/3,p(C)=1/6; 各个值列成如下。

求这个信源的熵(联合熵H(X1;X2))。

X 2j X 1i IA B CD 1/4 3/10 1/6E 1/4 1/5 1/2F 1/4 1/5 1/6 G1/43/101/6「1 1 1 1 】<1111"4 4 4 4288 8 3311311111 解：10 5 5 10P(i)=3 P(ij)=10 15 15 10111111111「 3 66)<36 li36H(X1;X2)=p(a1b2) = H(X N ) H(X)2.1 10613.288=158037个，第二个符号。