H (Y1Y2 ...YN ) H (YK / X K )
K 1
N
H (Y1Y2 ...YN ) H (YK )
K 1 N N I ( X ;Y ) H (YK ) H (YK / X K ) K 1 K 1 N I ( X ; Y ) I ( X K ; YK ) K 1
j b j b j b j
1 2
N

j 1,2,......, m
N
j1 j2 ...... jN 1,2,......, m
信道矩阵
X P(Y X ) Y
p( 1 1 ) p( 2 1 ) p( ) p( ) 1 2 2 2 ...... p( 1 n ) p( 2 n )
N
离散无记忆信道的N次扩展信道

离散无记忆信道的N次扩展信道的平均 互信息量不大于N个变量X1X2...XN单独 通过信道 的 X P(Y X ) Y 平均互信息量之和。


N I ( X ;Y ) I ( X K ;Y K ) K 1
离散无记忆信道扩展信道信道容量
散信道。


多符号离散信道的数学模型
X X1 X 2 ...... X N
i ai ai ai
1 2
N

N
有n 个元素
N
i 1,2,......, n
Y Y1Y2 .....YN
i1i2 ......iN 1,2,......, n
X P(Y X ) Y
N N
...... p( m 1 ) ...... p( m 2 ) ...... ...... p( m n )
N N N N
离散无记忆信道的N次扩展信道
X1

X
P (Y1 X 1 )


Y1
YN
Y
XN
P (YN X N )
I ( X ; Y ) H (Y ) H (Y / X )
独立并联信道的信道容量

N次扩展信道的推广，随机变量取值于不同 的符号集
C N C1 C2 ..... CN CK
K 1
N
作业

3-6

讲解第二章作业
当且仅当X X1 X2 ... XK 无记忆，等号成立 N I ( X ; Y ) I ( X k ; Yk )
k 1
当随机变量取值同一符号集时 I ( X ; Y ) NI ( X ; Y ) C N NC
结论：如果信道是N次扩展信道，信源也是N次 扩展信源，则N次扩展信道的信道容量是离散 无记忆信道容量的N倍
1 2 N 1 1 N N
n
n
m
m
log 2 p(b j ai ) p(b j ai )
1 1 N N
p(ai ) p(b j ai ) log 2 p(b j ai )
1 1 1 1 1
n
m
i1
j1
p(ai ) p(b j ai ) log 2 p(b j ai )
信息论与编码
Information Theory and coding
内蒙古工业大学 电子信息工程系 宋丽丽
Email: songlili@
多符号离散信道数学模型
多符号离散信道
多符号信源通过离散信道传输形成多符号离
X K a1a2 an X X1 X 2 ...... X N YK b1b2 bn Y Y1Y2 .....YN X P(Y X ) Y
i 1 1 iN 1 j 1 1 jN 1
1 2 N 1 2 N 1 2 N
n
n
m
m
log 2 p(b j b j ...b j ai ai ...ai )
1 2 N 1 2 N
p(ai ai ai ) p(b j ai ) p(b j ai )
i1 1 i N 1 j1 1 j N 1
离散无记忆信道的N次扩展信道
无记忆：YK仅与XK有关
P (Y / X ) P (Y1Y2 ...YN / X 1 X 2 ... X N ) P (Y1 / X 1 ) P (Y2 / X 2 )...P (YN / X N ) P (Yi / X i )
i 1 N
H (Y / X ) ... ... p(ai ai ...ai ) p(b j b j ...b j ai ai ...ai )
2 2 2 2 2
n
m
i2
j2
...... p(ai ) p(b j
N
n
m
N
ai ) log 2 p(b j
N
N
ai )
N
iN
jN
H (Y1 Βιβλιοθήκη X 1 ) H (Y2 / X 2 ) ... H (YK / X K ) H (YK / X K )
K 1 N
N I ( X ;Y ) H (Y ) H (YK / X K ) K 1