6.解释最小错误概率译码准则，最大似然译码准则和最小距离译码准则，说明三者的关答：最小错误概率译码准则下，将接收序列译为后验概率最大时所对应的码字。

最大似然译码准则下，将接收序列译为信道传递概率最大时所对应的码字。

最小距离译码准则下，将接收序列译为与其距离最小的码字。

三者关系为：输入为等概率分布时，最大似然译码准则等效于最小错误概率译码准则。

在二元对称无记忆信道中，最小距离译码准则等效于最大似然译码准则。

1.设线性分组码的生成矩阵为，求：（1）此（n，k）码的n=？ k=？，写出此（n，k）码的所有码字。

（2）求其对应的一致校验矩阵H。

（3）确定最小码距，问此码能纠几位错？列出其能纠错的所有错误图样和对应的伴随式。

（4）若接收码字为000110，用伴随式法求译码结果。

1.答：1）n=6，k=3，由C=mG可得所有码字为：000000，001011，010110，011101，100101，101110，110011，1110002）此码是系统码，由G知，，则3）由H可知，其任意2列线性无关，而有3列线性相关，故有，能纠一位错。

错误图样E 伴随式100000 101010000 110001000 011000100 100000010 010000001 0014）由知E＝010000，则信息传输率为则6.设有一离散信道，其信道矩阵为，求：（1）最佳概率分布？（2）当，时，求平均互信息信道疑义度（3）输入为等概率分布时，试写出一译码规则，使平均译码错误率最小，并求此答：1）是准对称信道，因此其最佳输入概率分布为。

2）当，时，有则3）此时可用最大似然译码准则，译码规则为且有四（15分）设离散无记忆信道输入集合为X={0，1}，输出集合为{0,E,1}，信道转移概率矩阵为0103/41/81/811/81/83/4E⎡⎤⎢⎥⎢⎥⎢⎥⎣⎦，输入先验分布为Q(0)= 1/4，Q(1) =3/4。

（1）求信道容量C及其最佳分布。

（2）求采用最佳译码准则下的译码规则，并计算平均错误概率。

（3）设发送的消息只有两种0000和1111，若接收的序列为0E10，请根据最大似然准则给出译码结果，并计算此时的错误概率。

五（15分）设二元(5,2)线性分组码的生成矩阵为1101001111G ⎡⎤=⎢⎥⎣⎦（1） 求最小汉明距离。

（2） 求一致校验矩阵H 。

（3） 写出标准阵列译码表中与伴随式(111)对应的陪集。

（4） 若接收矢量01101，试根据最小距离译码准则确定发送的信息序列。

若通过转移概率为p=1/4的BSC 传送，试求该码的不可检错误概率p ud 。

2.二元对称信道如图。

3. ；1）若，，求和；2）求该信道的信道容量和最佳输入分布。

3.信源空间为，试分别构造二元和三元霍夫曼码，计算其平均码长和编码效率。

4.设有一离散信道，其信道传递矩阵为，并设，试分别按最小错误概率准则与最大似然译码准则确定译码规则，并计算相应的平均错误概率。

5.已知一（8，5）线性分组码的生成矩阵为。

求：1）输入为全00011和10100时该码的码字；2）最小码距。

2.答：1）2），最佳输入概率分布为等概率分布。

3.答：1）二元码的码字依序为：10，11，010，011，1010，1011，1000，1001。

平均码长，编码效率2）三元码的码字依序为：1，00，02，20，21，22，010，011。

平均码长，编码效率4.答：1）最小似然译码准则下，有，2）最大错误概率准则下，有，5.答：1）输入为00011时，码字为00011110；输入为10100时，码字为10100101。

2）某系统（7，4）码)()(01201230123456c c c m m m m c c c c c c c ==c 其三位校验位与信息位的关系为：231013210210c m m m c m m m c m m m=++⎧⎪=++⎨⎪=++⎩ （1）求对应的生成矩阵和校验矩阵；（2）计算该码的最小距离；（3）列出可纠差错图案和对应的伴随式； （4）若接收码字R =1110011，求发码。

解：1. 1000110010001100101110001101G ⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎣⎦101110011100100111001H ⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦2. d min =33.4. RH T =[001] 接收出错E =0000001 R+E=C = 1110010 (发码)6二元(7，4)汉明码校验矩阵H 为：（10分）（1）写出系统生成矩阵G ，列出错误形式和伴随矢量表，你能发现他们之间有什么联系，若没有这个表怎么译码，（2）若收到的矢量0000011，请列出编码后发送矢量、差错矢量、和编码前信息矢量。

011111110100100110111010(|)101011101001T P I ⎫⎛⎫⎪ ⎪⇒=⎪ ⎪⎪ ⎪⎭⎝⎭列置换１． 设随机变量}1,0{},{21==x x X 和}1,0{},{21==y y Y 的联合概率空间为⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡8/18/38/38/1),(),(),(),(22122111y x y x y x y x P XY XY 定义一个新的随机变量Y X Z ⨯=(普通乘积)（1） 计算熵H （X ），H （Y ），H （Z ），H （XZ ），H （YZ ），以及H （XYZ ）； （2） 计算条件熵 H （X|Y ），H （Y|X ），H （X|Z ），H （Z|X ），H （Y|Z ），H （Z|Y ），H （X|YZ ），H （Y|XZ ）以及H （Z|XY ）；（3） 计算平均互信息量I （X ；Y ），I （X ：Z ），I （Y ：Z ），I （X ；Y|Z ），I （Y ；Z|X ）以及I （X ：，Z|Y ）。

解：（1）12log 2/12log 2/1)(12log 2/12log 2/1)(2222=+==+=Y H X H8/108/308/308/1111110101100011010001000XYZ8/18/710Z8log 8/1)7/8(log 8/7)(22+=Z H 8/18/302/111100100XZ8log 8/1)3/8(log 8/32log 2/1)(222++=XZ H 8/18/302/111100100YZ8log 8/1)3/8(log 8/32log 2/1)(222++=YZ H（2）))3/4(log 4/34log 4/1(2/1))3/4(log 4/34log 4/1(2/1)|(2222+++=Y X H ))3/4(log 4/34log 4/1(2/1))3/4(log 4/34log 4/1(2/1)|(2222+++=X Y H)1log 10log 0(8/1))3/7(log 7/3)4/7(log 7/4(8/7)|(2222+++=Z X H )4log 4/1)3/4(log 4/3(2/1)0log 01log 1(2/1)|(2222+++=X Z H)1log 10log 0(8/1))3/7(log 7/3)4/7(log 7/4(8/7)|(2222+++=Z Y H )4log 4/1)3/4(log 4/3(2/1)0log 01log 1(2/1)|(2222+++=Y Z H)0log 01log 1(8/1)0log 01log 1(8/3))3/4(log 4/34log 4/1(2/1)|(222222+++++=YZ X H)0log 01log 1(8/1)0log 01log 1(8/3))3/4(log 4/34log 4/1(2/1)|(222222+++++=XZ Y H 0)|(=XY Z H(3))|()();(Y X H X H Y X I -= )|()();(Z X H X H Z X I -= )|()();(Z Y H Y H Z Y I -=)|()|()|;(YZ X H Z X H Z Y X I -=)|()|()|;(ZY X H Y X H Y Z X I -=２． 设二元对称信道的输入概率分布分别为]4/14/3[][=X P ，转移矩阵为[]⎥⎦⎤⎢⎣⎡=3/23/13/13/2|XY P ， （１） 求信道的输入熵，输出熵，平均互信息量；（２） 求信道容量和最佳输入分布； （３） 求信道剩余度。

解：（1）信道的输入熵4log 4/1)3/4(log 4/3)(22+=X H ；⎥⎦⎤⎢⎣⎡=6/112/14/12/1][XY P ]12/512/7[][=Y P)5/12(log 12/5)7/12(log 12/7)(22+=Y H)6/1,12/1(4/1)4/1,2/1(4/3)|(H H X Y H += )|()();(X Y H Y H Y X I -=（2）最佳输入分布为]2/12/1[][=X P ，此时信道的容量为)3/1,3/2(1H C -=(3)信道的剩余度：);(Y X I C -。