b 3 态转移图确定。
反之，状态转移
b j 图确定，则信道 确定。
bs
信息论与编码
湖北大学物电学院蒋碧波
第1节 离散信道的数学模型
例：在通信工程，通常使用二进制删除信道。 (输入符号集{0,1}，输出符号集{0,?,1})
1) 转移概率模型
p ( y 0 /x 0 ) pp ( y ? /x 0 ) 1 p pp ( y 1 /x 0 ) 0 p ( y 0 /x 1 ) 0p ( y ? /x 1 ) 1 p pp ( y 1 /x 1 ) p
日思日睿 笃志笃行
信息论与编码
湖北大学物电学院蒋碧波
第1节 离散信道的数学模型
2) 转移概率矩阵模型
p p 0
0
p
p
3) 状态转移图模型
日思日睿 笃志笃行
0
p0 1-p ?
1
1-p
p1
信息论与编码
湖北大学物电学院蒋碧波
第1节 离散信道的数学模型
例：在通信工程，通常使用二进制对称信道。 (输入符号集{0,1}，输出符号集{0, 1})
湖北大学物电学院蒋碧波
第2节 条件自信量及平均条件自信量
I ( x0 | y1 ) log P ( x0 | y1 )
log P ( x0 y1 ) log P ( y1 )
P ( x0 )P ( y1 / x0 )
1
P ( xi )P ( y1 / xi )
i0
1 0.3
log
信宿符号的概率分布 P ( y j )
日思日睿 笃志笃行
信息论与编码
湖北大学物电学院蒋碧波
第2节 条件自信量及平均条件自信量
r
p(xi) 1
i1
s
p(yj) 1
j 1
s
p( y j / xi ) 1
j 1
r
p(xi / y j ) 1
i 1
r
p(yj) p(xi)p(yj /xi) i1
P ( y1 )
P ( x1 ) P ( y1 / x1 )
1
P ( xi ) P ( y1 / xi )
i0
2 0.8
log
1
3 0.3
2
0.8
0 .3 0 ( b its )
3
3
1 I(x0) lo 2P g (x0) lo 23 g 1 .5(b 8)its
I(x1) lo 2P g (x1) lo 23 2 g 0 .5(b 8)its
分析：
I ( x0 | y0 ) log P ( x0 | y0 )
log P ( x0 y0 ) log P( y0 )
P(x0 )P( y0 / x0 )
1
P( xi )P( y0 / xi )
i0
1 0.7
log
1
3 0.7
2
0.2
0.65(bits)
3
3
日思日睿 笃志笃行
信息论与编码
0
1-p p
0
1
p 1-p
1
日思日睿 笃志笃行
信息论与编码
湖北大学物电学院蒋碧波
第1节 离散信道的数学模型
2、平稳马尔可夫信道的数学模型
平稳就是与什么时候传输没有关系，无记忆就是与前面传输的符号没有 关系。而马尔可夫信道是有记忆的，只是记忆长度很短。 例如有这样一个信道，信源发送的符号集{0，1}，
0
0
0
0
1
1
1
0
0
0
1
1
1
1
日思日睿 笃志笃行
信息论与编码
湖北大学物电学院蒋碧波
第2节 条件自信量及平均条件自信量
1、几种概率及其关系
信源符号的概率分布，也称作先验概率 P ( x i )
信道的转移概率 后验概率 联合概率分布
P( y j / xi ) P(xi / y j ) P (xi y j )
信2节 条件自信量及平均条件自信量
2、条件自信量 1)、定义
I(xi|yj)loP g (xi1 |(yj)) loP (g xi|yj) 2)、物理意义
A 已知接收为有yj的条件下，对发送为xi的不确定性。
日思日睿 笃志笃行
信息论与编码
湖北大学物电学院蒋碧波
第2节 条件自信量及平均条件自信量
第4章-单符号离散信道
日思日睿 笃志笃行
信息论与编码
湖北大学物电学院蒋碧波
日思日睿 笃志笃行
信息论与编码
湖北大学物电学院蒋碧波
日思日睿 笃志笃行
信息论与编码
湖北大学物电学院蒋碧波
第1节 离散信道的数学模型
3) 状态转移图模型
a1 a2 a3 ai ar
日思日睿 笃志笃行
b1
b2
信道确定，则状
日思日睿 笃志笃行
信息论与编码
湖北大学物电学院蒋碧波
第2节 条件自信量及平均条件自信量
1) 转移概率模型
p (y 0 /x 0 ) 1 p p (y 1 /x 0 ) p p ( y 0 /x 1 ) p p ( y 1 /x 1 ) 1 p
日思日睿 笃志笃行
信息论与编码
湖北大学物电学院蒋碧波
第1节 离散信道的数学模型
2) 转移概率矩阵模型
1 p p p 1 p
3) 状态转移图模型
p ( x iy j) p ( x i) p ( y j/x i) p ( y j) p ( x i/y j)
p(y/x) j i
p(xiyj) p(xi)
p(yj)p(xi/yj) p(xi)
p(x/y) i j
p(xiyj) p(yi)
p(xi)p(yj/xi) p(yj)
日思日睿 笃志笃行
1
P( xi )P( y0 / xi )
i0
2 0.2
log
3
1.46(bits)
1 0.7 2 0.2
3
3
日思日睿 笃志笃行
信息论与编码
湖北大学物电学院蒋碧波
第2节 条件自信量及平均条件自信量
I ( x1 | y1 ) log P ( x1 | y1 )
lo g P ( x1 y1 ) lo g
例： 某一无记忆信源的符号集为{0,1}，已知，p 0
1 3
p1
2 3
。信道转移概率矩阵为
01
0 0.7 0.3 1 0.2 0.8
求条I 件 (x0|y0 自 )I,(x0|信 y 1)I,(x 1 量 |y0)I,(x 1|y 1)
日思日睿 笃志笃行
信息论与编码
湖北大学物电学院蒋碧波
第2节 条件自信量及平均条件自信量
1
3 0.3
2
0.8
2 .6 6 ( b its )
3
3
日思日睿 笃志笃行
信息论与编码
湖北大学物电学院蒋碧波
第2节 条件自信量及平均条件自信量
I ( x1 | y0 ) log P ( x1 | y0 )
log P ( x1 y0 ) log P( y0 )
P ( x1 ) P ( y0 / x1 )