信源符号 xi x1 x2 x3 x4 x5 x6 x7 x8
信 源 符号 xi x1 x2 x3 x4 x5 x6 x7 x8
符号概 率 pi 1/2 1/4 1/8 1/16 1/32 1/64 1/128 1/128
第 一 次 分 组 0
第 二 次 分 组 0
第 三 次 分 组
第 四 次 分 组
编码过程
编码 1/3 1/3 1/3 2/3 1/3 00 01 100 101 111 1100 1101
码长 2 2 3 3 3 4 4
1/3 1/3 2/9 1/9
第四章
4-1 失真矩阵为 4-2
0 ⎛ ⎜ 1 d ⎜ ⎜1 ⎜1 ⎝ 1 1 1⎞ 0 1 1⎟ 1 0 1⎟
限失真信源编码
⎟ ⎟
36 ⎞
36 ⎞
⎛ (1,6) (6,1) (2,5) (5,2) (3,4) (4,3) 共六种 Log⎜
2-6 0—14 个 1---13 个 2----12 个 3---6 个 P=
I= 2-7 2-8
Log( 2) = 1 Log( 4) = 2 Log( 8) = 3
“－” 用三个脉冲 “●”用一个脉冲 (1) I(●)= Log( 4) = 2
⎛ ⎞ I(－)＝ Log⎜ ⎟ = 0.415
4
⎝ 3⎠
(2) H= 2.9 (2)
1 4
Log( 4) +
3 4
Log⎛ ⎜
⎟ = 0.811 ⎝ 3⎠
4⎞
P(黑/黑)= H(Y/黑)=
P(白/黑)=
(3)
P(黑/白)= H(Y/白)=
P(白/白)=
(4)
P(黑)= H(Y)=
P(白)=
2-10
编码过程 0.38 0.37 0.25 0.62 0.38 1
编码 00 01 11 100 1010 1011
3-11 （1）信源熵 （2）香农编码： 信源符号 xi x1 x2 x3 x4 x5 x6 平均码长： 编码效率为 符号概率 pi 0.32 0.22 0.18 0.16 0.08 0.04 累加概率 Pi 0 0.32 0.54 0.72 0.88 0.96 -Logp(xi) 1.644 2.184 2.474 2.644 3.644 4.644 码长 Ki 2 3 3 3 4 5 码字 00 010 100 101 1110 11110
第五章
5-1
信道编码
5-2 (1)
接收端的不确定度为:
(2) H(Y/X)= =
(3)
=0 得到
得
5-3
0919*1000=919bit/s 5-5 (1)
5-6 (1)
条件概率
，联合概率
，后验概率
p ( y0) :=
1 3
， p ( y1) :=
1 2
， p ( y2) :=
1 6
（2） H(Y/X)=
P(i/j)=
解方程组
得W1=W2=W3=
信源熵为 2-31
P(X1)=
P(j/i)=
P(X1X2)=
（1） a. b. 求H(X2/X1)有两种方法： 方法 1：
方法 2：H(X2/X1)=∑P(x1x2)log(x2/x1) =
c. 求H(X3/X2)

P(X2)=
则
方法 1： P(X3/X2)= 方法 2：P(X3/X2)= )+ + =
(1) H(色)= (2) (3) P(色数)= H(色数)=
H(数/色)= H(色数)- H(色)=
2-11 (1) H(XY)=
7 24 Log⎛ ⎜ 1 1 1 1 7 24 ⎞ 1 + Log( 24) + 0 + Log( 24) + Log( 4) + Log( 24) + 0 + Log( 24) + Log⎛ ⎟ ⎜ ⎟ = 2.301 24 4 24 24 24 ⎝ 7 ⎠ 24 ⎝ 7⎠ 24 ⎞
1 2 Log( 2) + 1 4 Log( 4) + 1 8 Log( 8) + 1 16 Log( 16) + 1 32 Log( 32) + 1 64 Log( 64) + 1 128 Log( 128) + 1 128 Log( 128) = 1.984 111 1 1 1 1 1 2 4 8 16 32 64 128 128
-Logp(xi) 1.322 2.474 3.322 3.322 3.837 4.059 4.322 4.644
码长 Ki 2 3 4 4 4 5 5 5
码字 00 011 1001 1010 1100 11011 11101 11110
(4)
费诺编码： 符号概 率 pi 0.4 0.18 0.1 0.1 0.07 0.06 0.05 0.04 1 1 1 0 0 1 0 0 1 0 0 1 0 1 码 00 01 100 101 1100 1101 1110 1111 码长 2 2 3 3 4 4 4 4
黑
白
2-17
(1)
(2) 2-24
(1)
H(X)=
(2) (3) 2-25
=
解方程组
P ⋅W
1
T
W
2
W +W
1
即
W ⎞ 1⎟ ⎛ 0.25 0.5 ⎞ ⋅ ⎛ ⎜ ⎜ ⎟⎜ ⎝ 0.75 0.5 ⎠ ⎝ W 2 ⎟ ⎠
⎛ W1 ⎞ ⎜ ⎟ ⎜ W2 ⎟ ⎝ ⎠
解得 W1=0.4 W2=0.6 2-26
x1 1/2 0 1 0
x1 1/4 0.5 2 10
x2 1/8 0.75 3 110
x3 1/16 0.875 4 1110
x4 1/32 0.938 5 11110
x5 1/64 0.969 6 111110
x6 1/128 0.984 7 1111110
x7 1/256 0.992 8 11111110
P(j/i)=
解方程组
求得 W=
1/2 S1 1/3 1/2 S2 2/3 2/3 2-27 求平稳概率 1/3 S3
符号条件概率
状态转移概率
解方程组
得到 W=
2-28
(1) 求平稳概率 P(j/i)= 解方程组
得到
(2)
信源熵为:
2-29
P(j/i)=
解方程组
得到 W1=
, W2=
, W3=
2-30
(2) P=
得到
H(Y)=
(3) H(X/Y)=H(XY)-H(Y)= 2-12 (1) H( X) := 1 H( Y) := 1
(2)
(3) 2-13
P(i)=
P(ij)=
H(IJ)= 2-14 (1)
P(ij)=
P(i/j)=
(2) 方法 1:
=
方法 2:
2-15 P(j/i)=
2-16 (1)
信源符号 xi x1 x2 x3 x4 x5 x6
符号概率 pi 0.32 0.22 0.18 0.16 0.08 0.04 0.32 0.22 0.18 0.16 0.12 0.38 0.32 0.22 0.18
编码过程 0.40 0.38 0.32 0.60 0.40
编码 1 01 10 11 000 0010 0011
（3） 费诺编码为 信源符 号 xi x1 x2 x3 x4 x5 x6 符号概 率 pi 0.32 0.22 0.18 0.16 0.08 0.04 1 1 0 2 0 1 0 0 1 1 0 1 3 4 编码 00 01 10 110 1110 1111 码长 2 2 2 3 4 4
平均码长为： 编码效率： （4）哈夫曼编码
1
1 黑 白
(2)
设最后平稳概率为 W1,W2
得W1=07
W2=0.3
H(Y/黑)= −0.9143Log( 0.9143) − 0.0857Log( 0.0857) = 0.422 H(Y/白)= −0.2 Log( 0.2) − 0.8Log( 0.8) = 0.722 H(Y/X)=W1 H(Y/黑)+ W2 H(Y/白)=
… … …
…
（2）信源的信息量为
平均码长为：
码字的平均信息传输率为 R＝ （3）编码效率 bit/码
R＝ 3-10 （1）H(X)＝
100％
（2） 信源符号 xi x1 x2 x3 x4 x5 x6 符号概率 pi 0.37 0.25 0.18 0.10 0.07 0.03 0.37 0.25 0.18 0.10 0.10 0.37 0.25 0.20 0.18 码 长 2 2 2 3 4 4
0.4 0.19 0.18 0.13 0.1
(3) 香农编码
信源符号 xi x1 x2 x3 x4 x5 x6 x7 x8 平均码长:
符号概率 pi 0.4 0.18 0.1 0.1 0.07 0.06 0.05 0.04
累加概率 Pi 0 0.4 0.58 0.68 0.78 0.85 0.91 0.96
bit/ms=200bit/s
与上题相同
(2)
每个信源使用 3 个二进制符号,出现 0 的次数为
出现 1 的次数为
P(0)=
P(1)= (3)
(4)
相应的香农编码 符号概率 pi 1/2 1/4 1/8 1/16 1/32 1/64 1/128 1/128 相应的费诺码 累加概率 Pi 0 0.5 0.75 0.875 0.938 0.969 0.984 0.992 -Logp(xi) 1 2 3 4 5 6 7 7 码长 Ki 1 2 3 4 5 6 7 7 码字 0 10 110 1110 11110 111110 1111110 11111110