2009-2010学年第二学期末考试试题
信息论与编码理论
一、（共10分）
简述最大熵原理与最小鉴别信息原理,并说明两者之间的关系。

二、（共12分）
某一无记忆信源的符号集为{0, 1}，已知P(0) = 1/4，P(1) = 3/4。

1) 求符号的平均熵；
2) 有100个符号构成的序列，求某一特定序列（例如有m个“0”和（100 - m）个“1”）的自信息量的表达式；
3) 计算2)中序列的熵。

三、（共12分）
一阶马尔可夫信源的状态图如下图所示。

信源X 的符号集为{0, 1, 2}。

1) 求平稳后信源的概率分布；
2) 求)(X H ；
3) 求上述一阶马尔可夫信源的冗余度。

P P
四、（共10分）
设离散型随机变量XYZ 的联合概率满足xyz ∀)()()()(y z p x y p x p xyz p =。

求证：);();(Z Y X I Y X I ≥
五、（共12分）
设有一离散无记忆信道，输入信号为321,,x x x ，输出为321,,y y y ，其信道转移矩阵为⎥⎥⎥⎦
⎤⎢⎢⎢⎣⎡=214141412141414121Q ，61)(,32)(21==x P x P 。

试分别按理想译码准则与最大似然译码准则确定译码规则，并计算相应的平均译码差错概率。

六、（共14分）
设有一离散信道，输入X ，输出Y ，其信道转移矩阵为⎥⎦
⎤⎢⎣⎡7.01.02.02.01.07.0， 求：1）信道的信道容量及达到信道容量时的输入分布？
2）当输入X 分布为7.0)(1=x P 3.0)(2=x P 时，求平均互信息);(Y X I 及信道疑义度)(X Y H 。

七、（共15分）
某离散无记忆信源符号集为{71a a }，所对应的概率分别为：0.25，0.25，0.125，0.125，0.125，0.0625，0.0625。

1） 求信源的熵)(X H ；
2）对其进行三元哈夫曼编码并计算编码的平均码长及编码效率； 3）对其进行二元Shannon 编码并计算编码的平均码长及编码效率。

八、（共15分）
设某线性分组码的生成矩阵为⎥⎥⎥⎦
⎤⎢⎢⎢⎣⎡=111000*********G 求：
1) 对应的校验矩阵H ；
2) 由最大似然译码准则求其译码表并求01100的译码；
3)求所有的校验子；
4)求10101对应的校验子及对应的译码。