a2 1/ 6
a3 1/ 2
,
Y P

a1 1/ 6
a2 1/ 2
a3 1/ 3
,
Z P

b1 1/ 3
b2 1/ 2
b3 1/ 6
差别：信源X与Y同一消息的概率不同，X与Z的具体信息不同，但 它们的信息熵相同，表示三个信源总的统计特性相同，它们的信 息数和总体结构是相同的。即：
i 1
j 1
Hn ( p1,, pn ) Hm (q1,, qm )
电子信息工程学院
信息论
2.3 信息熵的基本性质
可加性是熵函数的一个重要特性，正因为具有可加性，所 以可以证明熵函数的形式是唯一的，不可能有其他的形式存 在。
(6)强可加性：H(XY) H(X ) H(Y | X )
当信源消息集的个数q 给定时，信源的信息熵是概率分布 P(x)的函数,概率分布用概率矢量P来表示：
P (P(a1), P(a2 ),, P(aq )) ( p1, p2,, pq )
电子信息工程学院
信息论
2.3 信息熵的基本性质
这样，信息熵 H (X是) 概率矢量P或它的分量 的 q 元1函数
nm

piq j log pi
piq j log q j
i1 j 1
i1 j 1
m
n
n
m
q j ( pi log pi ) pi ( q j log q j )
j 1
i 1
i 1
j 1
n
m
H ( XY ) pi log pi q j log q j
H ( p1, p2,, pq ) H ( p2, p3,, pq , p1) H ( pq , p1,, pq1)
电子信息工程学院
信息论
2.3 信息熵的基本性质
该性质表明：熵只与随机变量的总体结构有关，即与信源的总
体的统计特性有关。
X 如： P


a1 1/ 3
(各分量
p1, p满2,足, pq
q
,所以独Pi立变1量只有
元)。
一般式q可写1 为：
i 1
q
q
H ( X ) P(ai ) logP(ai ) pi lo1, p2,, pq ) H (P)
H (P)是概率矢量P的函数，称为熵函数
该性质是非常明显的，因为随机变量X的所有取值的概率 分布满足0 pi 时 1，熵是正值的，只有当随机变量是确知量 时，其熵等于零。
这种非负性对于离散信源而言是正确的，但对于连续信源 来说这一性质就不一定存在。以后可以看到，在差熵的概 念下，可能出现负值。
电子信息工程学院
信息论
2.3 信息熵的基本性质
pi
log
pi
0
。而其余分量
pi
0(i

j),
lim
p j 0
pj
log
pj
0
该性质说明：信源虽然有不同的输出符号，但只有一个消息几
乎必然出现，而其它符号则是几乎不可能出现，那么这个信源
是确知信源，其熵等于零。
电子信息工程学院
信息论
2.3 信息熵的基本性质
(3)非负性：
q
H (P) H ( p1, p2,, pq ) pi log pi 0 i 1
统计独立信源X和Y的联合信源的熵等于分别的熵之和。
两个随机变量X和Y，相互独立，X概率分布为： ( p1, p2 ,, pn ) , Y的概率分布为 (q1, q2 ,, qm ) 。
n
m
nm
则： pi 1
p j 1
piq j 1
i 1
j 1
i 1 j 1
H(1 , 1 , 1) H(1 , 1 , 1) H(1 , 1 , 1)
362
623
326
电子信息工程学院
信息论
2.3 信息熵的基本性质
(2)确定性：
H1,0 H1,0,0 H1,0,0,0 0
因为在概率矢量 P ( p1, p2,, pq ) 中，当分量 pi 1 时有
根据熵函数表达式有：
电子信息工程学院
信息论
2.3 信息熵的基本性质
H ( XY ) Hnm ( p1q1, p1q2 ,, p1qm , p2q1,, p2qm ,, pnq1,, pnqm )
故：
nm

piq j log piq j
i1 j 1
nm
两个互相关联的信源X和Y的联合信源的熵等于信源X的熵加上 信源X已知条件下信源Y的条件熵。
设两个随机变量X和Y，互相关联，X概率分布为：( p1, p2 ,, pn ) Y的概率分布为 ： (q1, q2 ,, qm )
信息论
2.3 信息熵的基本性质
设离散信源X的概率空间为：


X P(
x)


a1, P(a1
),
a2 , P(a2 ),
, ,
aq P(aq
),
,
q i1
P(ai
)

1
信息熵是信源概率空间的一种特殊矩函数，这个函数的大小 与信源的消息数及其概率分布有关。
电子信息工程学院
信息论
2.3 信息熵的基本性质
熵函数也是一种特殊的函数，它的函数形式为：
q
H (P) H ( p1, p2 ,, pq ) pi log pi i 1
它具有下列一些性质。
(1)对称性：当变量 p1, p2,任, p意q 变换时，熵函数的
值不变，即：
(4)扩展性
lim Hq1( p1, p2 ,...,pq , ) Hq ( p1, p2 ,...,pq )
0

因为：
lim
0
Hq1(
p1,
p2 , ,
pq


,
)
q 1

lim {
0 i1
pi
log
pi

( pq
)log(
pq

)

log }
q
pi log pi Hq ( p1, p2, , pq )
i 1
说明：信源的消息数增多时，若这些消息对应的概率很小(接
近于零)，则信源的熵不变。
电子信息工程学院
信息论
2.3 信息熵的基本性质
(5)可加性：H(XY) H(X ) H(Y)