一、填空题（共15分，每空1分）1、当 时，信源与信道达到匹配。

2、若高斯白噪声的平均功率为6 W ，则噪声熵为 。

如果一个平均功率为9 W 的连续信源的熵等于该噪声熵，则该连续信源的熵功率为 。

3、信源符号的相关程度越大，信源的符号熵越 ，信源的剩余度越 。

4、离散无记忆信源在进行无失真变长信源编码时，码字长度是变化的。

根据信源符号的统计特性，对概率 的符号用短码，对概率 的符号用长码，从而减少平均码长，提高编码效率。

8、香农第一编码定理指出平均码长的理论极限值为 ，此时编码效率为 。

4、在下面空格中选择填入数学符号“=，≥，≤，>”或“<” （1）()()2212X X H H =X ()X 3H = ()3321X X X H（2）()XY H ()()Y X H Y H |+ ()()X H Y H +。

9、有一信源X ，其概率分布为⎥⎥⎦⎤⎢⎢⎣⎡=⎥⎦⎤⎢⎣⎡818141214321xx x x P X ，若对该信源进行１００次扩展，则每扩展符号的平均信息量是 。

11、当时，信源熵为最大值。

８进制信源的最大熵为。

二、判断题（正确打√，错误打×）（共5分，每小题1分）1）噪声功率相同的加性噪声信道中以高斯噪声信道的容量为最大。

（）2）即时码可以在一个码字后面添上一些码元构成另一个码字。

（）3）连续信源的熵可正、可负、可为零，（）4）平均互信息始终是非负的。

（）5）信道容量C只与信道的统计特性有关，而与输入信源的概率分布无关。

（）三、（10分）计算机终端发出A 、B 、C 、D 、E 五种符号，出现概率分别为1/16，1/16，1/8，1/4，1/2。

通过一条带宽为18kHz 的信道传输数据，假设信道输出信噪比为2047，试计算：1） 香农信道容量；2） 无误码传输的最高符号速率。

四、（10分）有一信源发出恒定宽度，但不同幅度的脉冲，幅度值x 处在1a 和2a 之间。

此信源连至信道，信道接收端接收脉冲的幅度y 处在1b 和2b 之间。

已知随机变量X 和Y 的联合概率密度函数))((1)(1212b b a a xy p --=试计算)(),(),(XY h Y h X h 和);(Y X I五、（10分）设某信道的传递矩阵为0.80.10.10.10.10.8⎡⎤=⎢⎥⎣⎦P计算该信道的信道容量，并说明达到信道容量的最佳输入概率分布。

六、（１0分）设随机变量X和Y的联合概率分布如下所示：Z ，计算H（X），H（Z），H（XY），H（X/Z），I（X；Y）已知随机变量XY七、（20分）一个离散无记忆信源123456()1/161/161/161/161/41/2X x x x x x x P x ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦1) 求()H X 和冗余度；（4分）2) 编成Fano 码，计算编码效率；（8分） 3) 编成Huffman 码，计算编码效率。

（8分）八、（10分）设一个离散无记忆信源的概率空间为⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡8.02.0)(21x x x P X ，它们通过干扰信道，信道矩阵为⎥⎦⎤⎢⎣⎡=7.03.01.09.0P 。

信道输出符号集为[]21,y y Y =，试计算：（1）信源X 的信息熵；（２分）（2）收到信息2y 后，获得的关于1x 的信息量；（２分） （3）共熵)(XY H ；（２分） （4）信道疑义度(|)H X Y ；（2分）（5）收到消息Y 后获得的关于信源X 的平均信息量。

（２分）九、（10分）有一个二元马尔可夫信源，其状态转移概率如图所示，括号中的数表示转移时发出的符号。

试计算（1）达到稳定后状态的极限概率。

（2）该马尔可夫信源的极限熵H《信息论基础》试卷答案《信息论基础》试卷答案一、填空题（共15分，每空1分）1，当（R=C或信道剩余度为0）时，信源与信道达到匹配。

2，若高斯白噪声的平均功率为6W，则噪声熵为（1/2log12πe=3。

337bit/自由度）如果一个平均功率为9W的连续信源的熵等于该噪声熵，则该连续信源的熵功率为（6W）3，信源符号的相关程度越大，信源的符号熵越（小），信源的剩余度越（大）4，离散无记忆信源在进行无失真变长信源编码时，码字长度是变化的。

根据信源符号的统计特性，对概率（大）的符号用短码，对概率（小）的符号用长码，从而减少平均码长，提高编码效率。

8，香农第一编码定理指出平均码长的理论极限值为（信源熵H(S)/logr或H R(S)），此时编码效率为（1）9，在下面空格中选择填入数学符号“=,<,>,≤≥，”H2(X)=H(X1X2)/2 H3(x)=H(X1X2X3)/3H (XY) = H(Y)+H(X/Y) ≤ H(Y)+H(X)10,有一信源X，其概率分布为1234x x x x1/21/41/81/8XP⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，若对该信源进行100次扩展，其每扩展符号的平均信息量是（175bit/扩展符号）11当（概率为独立等概）时，信源熵为最大值，8进制信源的最大熵为（3bit/符号）二、判断题（本大题共5小题，每小题1分，共5分）1）噪声功率相同的加性噪声信道中以高斯噪声信道的容量为最大（⨯）2）即时码可以在一个码字后面添上一些码元构成另一个码字（⨯）3）连续信源的熵可正可负可零（∨）4）平均互信息始终是非负的（∨）5）信道容量C只与信道的统计特性有关，而与输入信源概率分布无关（∨）三、（10分）计算机终端发出五种符号，出现概率分别为1/16，1/16，1/8,1/4,1/2.通过一条带宽为18KHz的信道传输数据，假设信道输出信噪比为2047，试计算：1）香农信道容量；2）无误码传输的最高符号速率。

(1) 22log 118log 2048198/t S C B kbit s N ⎛⎫=+== ⎪⎝⎭(2)()()max tB C R H x =,()1111115,,,,16168428H x H ⎛⎫==⎪⎝⎭()5198max 1.05610158B kR Baud ==⨯ 四、（10分）有一信源发出恒定宽度，但不同幅度的脉冲，幅度值x 处在a1,a2之间。

此信源连至信道，信道接收端接收脉冲的幅度y 处在b1，b2之间。

已知随机变量x 和y 的联合概率密度函数(,)1/(21)(21)p x y a a b b =-- 试计算h （x ），h （y ）h （xy ）和I(x;y)由(,)p x y 得 12211()0,a x a a a p x ⎧≤≤⎪-=⎨⎪⎩其他()22211,0,b x b b b p y ⎧≤≤⎪-=⎨⎪⎩其他 可见，()()()p xy p x p y =，x 和y 相互独立，且均服从均匀分布， 21()log()/h x a a bit =-自由度 21()log()/h y b b bit =-自由度2121()()()log()()h xy h x h y a a b b =+=-- (,)0I x y =五、（10分）设某信道的传递矩阵为0.80.10.10.10.10.8p ⎡⎤=⎢⎥⎣⎦计算该信道的信道容量，并说明达到信道容量的最佳输入概率分布，该信道为准对称信道，（1）两个对称信道矩阵为0.80.10.80.10.10.80.10.8⎡⎤⎡⎤⎢⎥⎢⎥⎣⎦⎣⎦和0.10.1⎡⎤⎢⎥⎣⎦N1=+=,N2=; M1=,M2=∴log2(0.8,0.1,0.1)0.9log0.90.1log0.20.447/C H bit =---=符号 最佳输入概率分布为输入等概率，即 (1)(2)p x p x ==1/2 六、（10分）设随机变量x 和y 的联合概率分布如下所示：已知随机变量z=xy,计算H(X)，H(Z)，H(XY)，H(X/Z)，Ｉ（x ；y ） 1) H(x)=H(1/3,1/3)=符号 2)H(z)=H(2/3,1/3)=符号3）H(xy)=H(1/3,1/3,0,1/3)= bit/每对符号 4)xz P(xz) 00 2/3 01 0 10 0 11 1/3H(xz)=H(2/3,1/3)bit/每对符号 H(x|z)=H(xz)-H(z)=05)I(x,y)=H(x)+H(y)-H(xy) =符号七 （20） 一个离散无记忆信源123456()1/161/161/161/161/41/2x x x x x x x p x ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦1） 求H(x)和冗余度；（4分）2） 编成Fano 码，计算编码效率；（8分） 3） 编成Huffman 码，计算编码效率。

（8分）1） H(x)=H(1/16,1/16,1/16，1/16,1/4,1/2)=2bit ()122.6log6H x v =-=﹪ 2)126x 5x 141161161161164x 3x 2x 1x 0111111011001101111111103)x6x2x3x4x5x11/161/161/161/161/41/21/161/161/81/41/21/21/41/81/81/21/41/41/21/2010110110101111110011011110 11112442242L =⨯+⨯+⨯⨯=()100H x Lη==％ 八 （10分） 设一个离散无记忆信源的概率空间为12()0.20.8x x x p x ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，它们通过干扰信道，信道矩阵为0.90.10.30.7P ⎡⎤=⎢⎥⎣⎦。

信道输出符号集[]12Y y y =，试计算： （1）信源X 的信息熵；（2分）（2）收到信息y2后，获得关于x1的信息量；（2分） （3） 共熵H(XY)；（2分） （4）信道疑义度H(X|Y);(2分)（5） 收到消息Y 后获得的关于信源X 的平均信息量。

（2分）P(xy) y1 y2 x1 × × x2× ×(1) H(x)=H,=符号（2） I(x1;y2)=I(x1)-I(x1|y2)=log1/,58/=符号 （3） H （xy ）=H,,,=每对符号（4） H(x|y)=H(xy)-H(y)=(y)H(y)=H,=H(x|y)=符号（5）I(X:Y)=H(x)+H(y)-H(xy)=H(x)-H(x|y)=符号九（10分）有一个二元马尔科夫信源，其状态转移概率如图所示，括号中的数表示转移时发出的符号。

试计算（1）达到稳定后状态的极限概率（2）该马尔科夫信源的极限熵H∞。

(1)012 000.50.510.50.50200.50.5s s sspss=P(s0)=(s1)(p(s0)+p(s1)+p(s2))=p(s1) (p(s0)+p(s2))=p(s2)P(s0)+p(s1)+p(s2)=1得 p(s0)=;P(s1)=;P(s2)=;(2)=1/4H,+1/2H,+1/4H, H1/4+1/2+1/4=1bit/符号。