ai ai1ai2 L aiN ; aik X (x1, x2 ,L xq ); k (1, 2,L N );
N
p(ai ) P( X N ai ) p(ai1) p(ai2 ) p(aiN ) p(aik ) (ai ai1, ai2 , , aiN ) k 1 电子信息工程学院
率为 p(xi )，信源每次发出一个符号，且符号发生的概
率相互独立，称为单符号离散无记忆信源，简称离散
无记忆信源。
def
q
H ( X ) E I (xi ) E log p(xi ) p(xi ) log p(xi )
i 1
电子信息工程学院
信息论
2.4 离散无记忆的扩展信源
2.4.2 离散无记忆信源的扩展信源
信息论
2.4 离散无记忆的扩展信源
4、离散无记忆信源X 的N 次扩展信源
设离散无记忆信源 X，其样本空间为 a1, a2,...aq，
用一组长度为 N的序列表示其输出消息序列。此时， 将输出序列等效为一个新的信源，用 N维离散随机矢 量来描述，记作 X X1, X2,..., X N ，则称 X组成的新 信源为离散无记忆信源 X 的 N次扩展信源。
电子信息工程学院
信息论
2.4
离散无记忆的扩展信源
3、任意进制离散无记忆信源的N次扩展信源
X
P
x1 p(x1 )
x2 p(x2 )
xi
xq
p(xi ) p(xq )
N次扩展信源
X N
P
a1 p(a1 )
a2
p(a2 )
aqN p(aqN
)
其中： X N X1X 2 L X N ( X1, X 2 ,L , X N X )
先考察其中一项
XN
P(i ) log
1= pi1 X N
pi1 pi2
piN
log
1 pi1
q
q
=
i11
pi1
X 2 X 1 X 2 {a1, a2 , a3 , a4} {00,01,10,11}
电子信息工程学院
信息论
2.4
离散无记忆的扩展信源
2 、离散无记忆二进制信源的三次扩展信源
X P
x1 p(x1
)
x2 p(x2
)
0 p(0)
1 p(1)
三次扩展信源
X3 P
a1 p(a1
信息论
2.4 离散无记忆的扩展信源
2.4.1 单符号离散无记忆信源
X P
x1 p(x1
)
x2 ... p(x2 ) ...
xi ... p(xi ) ...
xq p(xq )
0 p(xi ) 1 q
p(xi ) 1
i 1
信源X 的符号集 X x1, x2,..., xq ，每个符号的发生概
p(i ) log p(i )
XN
p(i ) log
1
p(i )
XN
p(i ) log
1 p(ai1 ) p(ai2 )L
p(aiN )
XN
p(i ) log
1 pi1
XN
p(i ) log
1 pi2
L
XN
p(i ) log
1 piN
电子信息工程学院
信息论
2.4 离散无记忆的扩展信源
)
a2 p(a2 )
a3 p(a3 )
a4 p(a4 )
a5 p(a5 )
a6 p(a6 )
a7 p(a7 )
a8 p(a8 )
扩展后的信源符号集合
X 3 X1 X 2 X 3 {a1, a2 , a8} {000,001,010,011,100,101,110,111}
新概率的计算举例: p(000) p(0) p(0) p(0)...
H ( X N ) NH ( X )
电子信息工程学院
信息论
2.4 离散无记忆的扩展信源
证明:设 i是 X N概率空间的一个符号，对应于由N个 ai 组
成的序列
p(i ) p(ai1ai2 L aiN ) p(ai1 ) p(ai2 )L p(aiN ) pi1 pi2 L piN
H (X N ) XN
电子信息工程学院
信息论
2.4 离散无记忆的扩展信源
因为是无记忆的（彼此统计独立），若
i (ai1 ai2 ai3 ...aiN )
则 P(i ) P(ai1 )P(ai2 )...P(aiN ) pi1 pi2 ... piN ,
其中 i1, i2 ,..., iN 1, 2,.., q 又 0 P(i ) 1
上式表明离散无记忆信源 X 的 N次扩展信源的概率空
间 [X N , Pi ]也是完备集。
根据信息熵的定义，N次扩展信源熵
H (X )
H(X
N)
XN
P( X ) logP( X )
XN
P(i ) log
1
P(i )
可以证明离散无记忆信源 X的 N次扩展信源 X N的熵 等于信源 X的熵值的 N倍，即：
其中，每个分量 X i (i 1, 2..., N ) 都是随机变量， 它们都取决于同一信源 X ，并且分量之间统计独立。 用 N 重空间描述离散无记忆信源 X的 N 次扩展信源， 记为 X N 。
电子信息工程学院
信息论
2.4 离散无记忆的扩展信源
设一个离散无记忆信源的概率空间为:
X P( x)
1、离散无记忆二进制信源的二次扩展信源
X
P
x1 p( x1 )
x2 p(x2
)
0 p(0)
1 p(1)
二次扩展信源
X2 P
a1 p(a1
)
a2 p(a2 )
a3 p(a3 )
a4 p(a4
)
00 p(00)
01 p(01)
10 p(10)
11 p(11)
扩展后的信源符号集合
而
qN
q
q
q
P(i ) P(ai1 )g P(ai2 )... P(Байду номын сангаасiN )
i 1
i1
i2
iN
q
q
q
g
...
pi1 pi2 ... piN
i1 1 i2 1
iN 1
q
q
q
pi1 g pi2 ... piN 1
i1 1
i2 1
iN
电子信息工程学院
信息论
2.4 离散无记忆的扩展信源
a1
p1
a2 p2
... ...
aq
pq
,
q i 1
pi
1( pi
0)
则信源X的N次扩展信源XN是具有qN个符号的离散信 源，其中N重概率空间为
X N 1
P(i
)
p(1 )
2 ... p(2 ) ...
qN
p(qN )
上式中，每个符号 i是对应于某一个由N个 ai组成的 序列。 i 的概率 P(i )是对应N个 ai 组成的序列概率。