1、有一个二元对称信道，其信道矩阵如下图所示。

设该信道以1500个二元符号/秒的速度传输输入符号。

现有一消息序列共有14000个二元符号，并设在这消息中P(0)=P(1)=1/2。

问从信息传输的角度来考虑，10秒钟能否将这消息序列无失真地传送完？解答：消息是一个二元序列，且为等概率分布，即P(0)=P(1)=1/2，故信源的熵为H(X)=1(bit/symbol)。

则该消息序列含有的信息量＝14000(bit/symbol)。

下面计算该二元对称信道能传输的最大的信息传输速率： 信道传递矩阵为：信道容量（最大信息传输率）为：C=1-H(P)=1-H(0.98)≈0.8586bit/symbol得最大信息传输速率为：Rt ≈1500符号/秒× 0.8586比特/符号 ≈1287.9比特/秒 ≈1.288×103比特/秒此信道10秒钟能无失真传输得最大信息量＝10× Rt ≈ 1.288×104比特 可见，此信道10秒能无失真传输得最大信息量小于这消息序列所含有的信息量，故从信息传输的角度来考虑，不可能在10秒钟将这消息无失真的传送完。

2、若已知信道输入分布为等概率分布，且有如下两个信道，其转移概率矩阵分别为：试求这两个信道的信道容量，并问这两个信道是否有噪声？3 、已知随即变量X 和Y 的联合分布如下所示：01100.980.020.020.98P ⎡⎤=⎢⎥⎣⎦111122221111222212111122221111222200000000000000000000000000000000P P ⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥==⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦11222211122222log 4(00)1/()log 42/log 8(000000)2/(),H bit symbol H X bit symbol C C H bit symbol H X C =-===>=-==1解答：(1)由信道1的信道矩阵可知为对称信道故C 有熵损失，有噪声。

(2)为对称信道，输入为等概率分布时达到信道容量无噪声0 1 01/83/81 3/8 1/8试计算：、I （X ；Y ） 解： (1) (2)(3) H （X/Y ）= H （XY ）-- H （Y ）=1.811-1=0.811 (4) H （Y/X ）= H （XY ）-- H （X ）=1.811-1=0.811 (5)4、 有一个可以旋转的圆盘，盘面上被均匀的分成38份，用1,2,3，……，38数字标示，其中有2份涂绿色，18份涂黑色，圆盘停转后，盘面上指针指向某一数字和颜色。

（1）若仅对颜色感兴趣，计算平均不确定度；（2）若对颜色和数字都感兴趣，计算平均不确定度； （3）如果颜色已知，计算条件熵。

解：(1) H(色)=(2) P(色数)= H(色数)=(3) H(数/色)= H(色数)- H(色)=5、 在一个二进制信道中，信源消息集X={0,1}，且P(0)=P(1),信宿的消息集Y={0,1},信道传输概率P （1/2）=1/4, P(0/1)=1/8。

求：（1）在接收端收到y=0后，所提供的关于传输消息X 的平均条件互信息量I(X ；y=0). (2) 该情况所能提供的平均互信息量I(X;Y). 解：(1)P(ij)= P(i/j)=(2) 方法1: =6 某一无记忆信源的符号集为{0,1}，已知p0=1/4, p1=3/4 (1)求符号的平均熵（2）由100个符号构成的序列，求某一特定序列（例如有m 个“0”和（100-m ）个“1”））的自信息量的表达式。

（3）计算（2）中的序列的熵。

解：(1) H(X)=(2)=(3)7、 一阶马氏链信源有三个符号{u1,u2,u3},转移概率为：P(u1/u2)=1/2, P(u2/u2)=1/2, P(u3/u1)=0, P(u1/u2)=1/3, P(u2/u2)=0,YXP(u3/u2)=2/3,P(u1/u3)=1/3, P(u2/u3)=2/3, P(u3/u3)=0, 画出状态图并求出各符号稳定概率。

解：P(j/i)= 解方程组 求得W=8、 设有一信源，它在开始时以p(a)=0.6,p(b)=0.3,p(c)=0.1的概率发出X1，如果X1为a 时则X2为a,b,c 的概率为1/3;如果X1为b 时则X2为a,b,c 的概率为1/3;如果X1为c 时则X2为a,b 的概率为1/2，而为c 的概率是0;而且后面发出X i 的概率只与 X i-1有关。

又p(X i / X i-1)=p(X2/ X1),i ≥3。

试利用马儿可夫信源的图示法画出状态转移图，并求出状态转移矩阵和信源熵H ∞P(j/i)= 解方程组 得到W1= , W2= , W3=9 某信源符号有8个符号{u1,…u8},概率分别是1/2，1/4，1/8.，1/16，1/32,1/64,1/128,1/128，编成这样的码：000,001,010,011,100,101,110,111。

求 （1）信源的符号熵H(U)(2)出现一个“1”或一个“0”的概率； （3）这样码的编码效率； （4）相应的香农码和费诺玛； （5）该码的编码效率？解： (1) H(U)=12Log 2()14Log 4()+18Log 8()+116Log 16()+132Log 32()+164Log 64()+1128Log 128()+1128Log 128()+1.984=(2) 每个信源使用3个二进制符号,出现0的次数为S1 S2 S3 1/3 1/2 1/2 2/31/3 2/3出现1的次数为P(0)=P(1)=(3)信源符号xi 符号概率pi累加概率Pi-Logp(xi) 码长Ki 码字x1 1/2 0 1 1 0x2 1/4 0.5 2 2 10x3 1/8 0.75 3 3 110x4 1/16 0.875 4 4 1110x5 1/32 0.938 5 5 11110x6 1/64 0.969 6 6 111110 x7 1/128 0.984 7 7 1111110 x8 1/128 0.992 7 7 11111110 相应的费诺码信源符号xi 符号概率pi第一次分组第二次分组第三次分组第四次分组第五次分组第六次分组第七次分组二元码x1 1/2 0 0x2 1/41 0 10x3 1/81 0 110x4 1/161 0 1110x5 1/321 0 11110x6 1/641 0 111110x7 1/1281 0 1111110x8 1/128 1 11111110（5）香农码和费诺码相同平均码长为编码效率为：10 已知符号集{x1,x2,x3,…}为无限离散集合，他们出现的概率分别是p(x1)=1/2,p(x2)=1/4,p(x3)=1/8,p(xi)=1/2i ,…。

（1）用香农编码方法写出各个符号的码字；（2）计算码字的平均信息传输率。

（3）计算信符号x1 x1 x2 x3 x4 x5 x6 x7 …概率1/2 1/4 1/8 1/16 1/32 1/64 1/128 1/256 …累加概率0 0.5 0.750.875 0.938 0.969 0.984 0.992 …码长 1 2 3 4 5 6 7 8二元码0 10 110 1110 11110 111110 1111110 11111110 …（2）信源的信息量为平均码长为：码字的平均信息传输率为R＝bit/码（3）编码效率R＝100％11该二进制对称信道的概率转移矩阵为⎪⎪⎭⎫⎝⎛3/23/13/13/2，（1）若p(x0)=3/4,p(x1)=1/4,求H(X),H(X/Y),H(Y/X)和I(X;Y)。

（2）求该信道的信道容量及其达到信道容量时的输入概率分布。

12、某信源发送端有2个符号，xi,i=1,2,p(xi)=a,每秒发出一个符号。

接收端有3种符号yj,j=1,2,3,转移概率矩阵如下：⎪⎪⎭⎫ ⎝⎛=4/14/12/102/12/1p（1）计算接收端的平均不确定度；（2）计算由于噪声产生的不确定度H(Y/X); (3) 计算信道容量 解：(1)接收端的不确定度为:(2) H(Y/X)==(3)=0 得到 得13 发送端有3种等概率符号（x1,x2,x3）,p(xi)=1/3,接收端收到3种符号（y1,y2,y3）,信道转移概率矩阵如下：（1）求接收端收到一个符号后得到的信息量H(Y); (2)计算噪声熵H(Y/X);(3)计算当接收到端收到一个符号y2的错误率； （4）计算从接收端看的平均错误率； （5）计算从发送端看的平均错误率；（6）从转移矩阵中你能看出信道的好坏吗：（7）计算发送端的H(X)和H(X/Y)。

解：(1)条件概率，联合概率，后验概率，，（2）H(Y/X)=（3）当接收为y2，发为x1时正确，如果发的是x1和x3为错误，各自的概率为：P(x1/y2)=，P(x2/y2)=，P(x3/y2)=其中错误概率为：Pe=P(x1/y2)+P(x3/y2)=（4）平均错误概率为（5）仍为0.733（6）此信道不好原因是信源等概率分布，从转移信道来看正确发送的概率x1-y1的概率0.5有一半失真x2-y2的概率0.3有失真严重x3-y3的概率0 完全失真（7）H(X/Y)=1 6Log2()110Log5()+115Log52⎛⎝⎫⎪⎭+215Log52⎛⎝⎫⎪⎭+110Log5()+110Log53⎛⎝⎫⎪⎭+130Log10()+310Log53⎛⎝⎫⎪⎭+ 1.301=14、设离散无记忆信道的输入符号集X:{0,1}，输出符号集Y:{0,1,2}，信道矩阵为P=若某信源输出两个等该消息x1，x2，现在用信道输入符号集对x1，x2进行编码，W1=00，W2=11代表x1，x2。

按最大似然准则写出译码函数，并求出最小平均错误译码概率P emin。

解：(1) 选择译码函数 F(b1)=F(b2)=F(b3)=F(b4)=F(b7)=x1F(b5)=F(b6)=F(b8)=F(b9)=x2(1)。