第一章信息、消息、信号的定义？三者的关系？ 通信系统的模型？各个主要功能模块及作用？ 第二章信源的分类？自信息量、条件自信息量、平均自信息量、信源熵、不确定度、条件熵、疑义度、噪声熵、联合熵、互信息量、条件互信息量、平均互信息量以及相对熵的概念？计算方法? 冗余度?具有概率为)(x i p 的符号x i 自信息量：)(log )(x x i i p I -= 条件自信息量：)(log )(y x y x iiiip I -=平均自信息量、平均不确定度、信源熵：∑-=ii i x x p p X H )(log )()(条件熵：)(log ),()(),()(y x y x y x y x jijijijijiji p p I p Y X H ∑∑-==联合熵：),(log ),(),(),()(y x y x y x y x ji jiji ji jiji p p I p Y X H ∑∑-==互信息：)()(log)()()()(log),();(y x yx yx y x yy x jiji jiji jijjiji p p p p p p p Y X I ∑∑==熵的基本性质：非负性、对称性、确定性2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求： (1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息；(3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, … , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。

解：(1)bitx p x I x p i i i 170.4181log )(log )(18161616161)(=-=-==⨯+⨯=(2)bit x p x I x p i i i 170.5361log)(log )(3616161)(=-=-==⨯=(3)两个点数的排列如下：11 12 13 14 15 16 21 22 23 24 25 26 31 32 33 34 35 36 41 42 43 44 45 46 51 52 53 54 55 56 6162 63 64 65 66共有21种组合：其中11，22，33，44，55，66的概率是3616161=⨯ 其他15个组合的概率是18161612=⨯⨯symbol bit x p x p X H ii i / 337.4181log 18115361log 3616)(log )()(=⎪⎭⎫ ⎝⎛⨯+⨯-=-=∑(4)两个点数求和的概率分布如下：sym bolbit x p x p X H X P X ii i / 274.3 61log 61365log 365291log 912121log 1212181log 1812361log 3612 )(log )()(36112181111211091936586173656915121418133612)(=⎪⎭⎫ ⎝⎛+⨯+⨯+⨯+⨯+⨯-=-=⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧=⎥⎦⎤⎢⎣⎡∑(5){(1,2),(1,3),(1,4),(1,5),(1,6),(2,1),(3,1),(4,1),(5,1),(6,1),(1,1)}bit x p x I x p i i i 710.13611log)(log )(3611116161)(=-=-==⨯⨯=2.7 设有一离散无记忆信源，其概率空间为123401233/81/41/41/8X x x x x P ====⎛⎫⎛⎫=⎪ ⎪⎝⎭⎝⎭（1）求每个符号的自信息量（2）信源发出一消息符号序列为{202 120 130 213 001 203 210 110 321 010 021 032 011 223 210}，求该序列的自信息量和平均每个符号携带的信息量 解：122118()log log 1.415()3I x bit p x === 同理可以求得bit x I bit x I bit x I 3)4(,2)3(,2)2(===因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和 就有：123414()13()12()6()87.81I I x I x I x I x bit =+++=平均每个符号携带的信息量为87.811.9545=bit/符号 2.8 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？解：四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3}八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则：四进制脉冲的平均信息量symbol bit n X H / 24log log )(1=== 八进制脉冲的平均信息量symbol bit n X H / 38log log )(2=== 二进制脉冲的平均信息量symbol bit n X H / 12log log )(0===所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。

2-9 国际莫尔斯电码用点和划的序列发送英文字母，划用连续三个单位的电流脉冲表示，点用持续一个单位的电流脉冲表示。

其划出现的概率是点出现概率的1/3，计算： （1）点和划的信息量；（2）点和划的平均信息量。

解：“－”出现的概率是“∙”出现概率的1/3 ∴i43)(p =∙ 41)(p =-(1) I(∙)＝Log 43⎛ ⎝⎫⎪⎭0.415= I(-)=Log 4()2= (2) H= 14Log 4()34Log 43⎛ ⎝⎫⎪⎭+0.811= 2-10 在一个袋中放5个黑球、10个白球，以摸一个球为一次实验，摸出的球不在放进去。

求：（1）一次实验包含的不确定度；（2）第一次实验X 摸出的是黑球，第二次实验Y 给出的不确定度； （3）第一次实验X 摸出的是白球，第二次实验Y 给出的不确定度； （4）第二次实验Y 包含的不确定度。

解：(2) P(黑/黑)= P(白/黑)=6.801014log 1410414log 144/(=+=黑）Y H(3) P(黑/白)= P(白/白)=H(Y/白)=(4)311441551451510)(p =⨯+⨯=黑3214101551491510(p =⨯+⨯=白）H(Y)=2-14 在一个二进制信道中，信源消息}1,0{∈X ，且p(1)=p(0),信宿的消息}1,0{∈Y ,信道传输概率4/1)01(===x y P ，8/1)10(===x y P 。

求：（1）在接收端收到y=0后，所提供的关于传输消息x 的平均条件互信息量I(X;y=0);（2）该情况所能提供的平均互信息量I(X;Y)。

解：(1)P(ij)= P(i/j)=408.0)1()01(log)01()0()00(log )00()()0(log)0(0;(======+==========∑x p y x p y x p x p y x p y x p p y p y p y X I x x x i i i i）(2) 方法1:=方法2:2-15 已知信源发出a1和a2两种消息，且p(a1)=p(a2)=1/2,此消息在二进制对称信道上传输，信道传输特性为εε==-==)12()21(,1)22()11(a b p a b p a b p a b p 。

求互信息量I(a1;b1)和I(a1;b2)。

解：信道转移概率矩阵为 P(j/i)=εε-=-=⋅=121)1(21)1()11()1()11(b p a b p a p b a p)]1(2log[)1()11(log)1;1(ε-==a p b a p b a Iεε==⋅=2121)2()12()1()21(b p a b p a p b a p)2log()1()21(log)2;1(ε==a p b a p b a I2.17 每帧电视图像可以认为是由3 105个像素组成的，所有像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平是等概出现，问每帧图像含有多少信息量？若有一个广播员，在约10000个汉字中选出1000个汉字来口述此电视图像，试问广播员描述此图像所广播的信息量是多少（假设汉字字汇是等概率分布，并彼此无依赖）？若要恰当的描述此图像，广播员在口述中至少需要多少汉字？ 解：1)sybit X NH X H symbolbit n X H N / 101.27103)()(/ 7128log log )(6522⨯=⨯⨯=====2)symbolbit X NH X H symbolbit n X H N/ 13288288.131000)()(/ 288.1310000log log )(22=⨯=====3)158037288.13101.2)()(6=⨯==X H X H N N2-26 一个信源发出二重符号序列消息（X1，X2),其中第一个符号X1可以是A,B,C 中的一个，第二个符号X2可以是D,E,F,G 中的一个。

已知各个()x i p 1为p(A)=1/2,p(B)=1/3,p(C)=1/6;各个)(12x x i j p 值列成如下。

求这个信源的熵（联合熵H(X1;X2)）。

xj2xi1ABC D 1/4 3/10 1/6 E 1/4 1/5 1/2 F 1/4 1/5 1/6 G1/43/101/6解： P(i)= P(ij)=H(X1;X2)=。