第三章. 连续信源的信息熵
§3. 1 连续信源的离散化
( Discretization of Continuous Source)
我们前面所介绍的信源均指离散信源，即信源所发 的消息都是由符号或符号序列所组成； 而且每一个符号 的取值都属于一个有限元素组成的集合之中。
x

A


a1, p1,
log x 1 x Rx Ry
p(x y)
Rx Ry
p( y x)
where, x0
p( y)
p(x) p( y
Rx Ry
x) 1
p( y
x)

dxdy
p(x) p(x) p(y)
P(x y) p(xy)
p(xy)
p( y)
p(x)
p(x) p( y x)dxdy p(x) p( y)dxdy
Rx
Rx Ry
p(x) p( y x)log p(x)dxdy p( y) p( x y)log p( x y)dxdy
Rx Ry
Rx Ry
log x x 1 p(x) p( y x) log p(x) dxdy p(x) p( y x) log p( y) dxdy
i 1
i 1
§3. 2 连续变量的相对熵
以上我们将一个连续变量的概率空间量化成一个离
散空间，从而得到连续信源的近似信息熵。如果将此近
似手段在取极限的方式下就可逼近这个连续变量的熵。
即：lim 0
H
n
(
X
)

lim
0


i
n 1
pn ( xi ) log
pn ( xi )
(log )
p(x) f (x)


def
where : F (x) P(x),为概率分布函数。
def
f (x) p(x), 为概率分布密度。
b
b
P(x b) f (x)dx p(x)dx 1

a
a0
Δ
bx
§3. 2 连续变量的相对熵
如果把x∈[a,b]的定义域划分成n个小 区间，且每个小区间宽度相等。那么处
时,H()将会消失。所以我们可看到仅从Hc(X)上就可真正反映出 信息的全部属性 (包括非负性) 。因此，我们只要相对熵的定义就 足够了。同时我们也能给出两个连续变量的互信息问题：
§3. 2 连续变量的相对熵
先定义连续变量的条件熵：Hc ( X Y )
p(x)dx 1;
Rx
q( y)dy 1;
X
x H( p)
Amplitude discretization
正交变换 Orthogonal Transformation
x( )
Amplitude
continuous
Hc (X )
所谓正交变换是一种数学处理手段，将在T时间内的 受限于最高频率为F的随机过程，无失真地变换成2FT个 随机变量。最理想的正交变换是： K—L expansion。
def
Hc ( X ) p(x) log p(x)dx
R
where, R is the domain of x . 为什么说相对熵反映连续变量的客观存在的平均不定度？首 先一个随机变量，当它的概率分布一旦确定，则它的不定性就该 给定，而不能随划分精度的变化而变化。第二，由于信息量的概 念是不定度的解除量，如果在相同划分精度下，再讨论两者之差
a2 , p2 ,
, an , pn



finite
symbol
or
sequence

而连续信源是指信源所发出的消息都是由一个个随机
过程( stochastic process)所形成。如：语音信号 X (t,)
它不仅幅度上，而且在时间上也都是 连续的，即分别属
于一个无限的集合之中。
§3. 1 连续信源的离散化
H H m1
H X (t,)
随机过程的熵
最多保持不变。所以简化处理就 得付出代价即：容忍信息的丢失，
H1

H
(X
)
除非正交变换和极限处理。
H0 log n
序列熵的表达类型
第三章. 连续信源的信息熵
§3. 2 连续变量的相对熵
( The differential entropy of Continuous random Variable)
p(x) f (x)
于第i个区间的概率就等于：
def
pi Pn (xi ) P[a (i 1)] x (a i)
ai
a(i1) p( x)dx p( xi )
where : b a ; n
i 1, 2, n
xi a (i 1), a i
Rx Ry

p(
y
‖
x)dy

p(
x) log
p( x )dx



p(x) p( y
x) log p( y
x)dxdy
Ry
1
Rx
Rx Ry
Hc ( X ) Hc (Y X )
§3. 3 相对熵的性质
and
Hc(X ) Hc(X Y)
p(x)log p(x)dx p( y) p( x y)log p( x y)dxdy
§3. 1 连续信源的离散化
因此任何复杂的统计对象，经多种处理后就可由 浅入深地逐步解决问题。正如我们在离散信源中：
ai
消息
事件
X
随机 变量
X X (t,)
ቤተ መጻሕፍቲ ባይዱ
随机
随机
序列 H ( X )
过程
HL(X )
I (ai ) H ( X )
自信息
信息熵
任何处理过程总要丢失信息，
n
H
n
(
X
Y)
q( y)p(x y) log p(x y)dxdy lim log n
0
Rx Ry
0
def
Hc(X Y ) H ()
then : I ( X ;Y ) H ( X ) H ( X Y )

lim
0
Hn
(
X
)

lim
0
Hn
(
X
Y) Hc(X) Hc(X
Hn1 ( X ) p(x) log p(x)dx H (1)
R
Hn2 ( X ) p(x) log p(x)dx H (2 )
R
§3. 2 连续变量的相对熵
可见只有H()不同，因此我们说：能真正反映连续信源的客 观属性的应该是第一项，而不是第二项。对于后者我们称之为— —绝对熵(absolute entropy) ；而对于前者我们称之为——相对熵 (differential entropy) 。
«信 息 理 论 基 础 »
第三章：连续信源的信息熵
§3. Entropy of Continuous Source
§3.1 连续信源的离散化 §3.2 随机变量的相对熵 §3.3 相对熵的性质 §3.4 常见几种概率密度下的相对熵 §3.5 连续信源的最大熵定理 §3.6 平稳高斯随机过程的信息熵与互信息 §3.7 熵功率与功率不等式
Y)
§3. 2 连续变量的相对熵
可见当两个连续变量之间的互信息，实际上就是两熵之差， 经绝对熵的相互抵消后，就剩下相对熵之差了。所以相对熵则 完全反映出信息的基本属性。所谓“相对”一词也是由此而来。
注：相对熵的定义与离散信源的信息熵有着明显的差别， 即这种相对熵仅代表连续变量的相对平均不定度。
同理，也有如下的相对熵的定义：
n
n
b
p( x) log p( x)dx lim(log ) 0
a
n 信息散度 D( p//q )
def
Hc(X ) H ()
(relative entropy)
where :
def b
Hc ( X ) p( x) log p( x)dx
称为相对熵
Hc ( X ) Hc (Y ) Hc ( XY )
第三章. 连续信源的信息熵 §3. 3 相对熵的性质
( The Properties of Differential Entropy)
1°. 可加性
proof :
Hc(XY ) Hc( X ) Hc(Y X ) Hc(Y ) Hc(X Y )
由于表达形式的不同，则它的物理意义也应有所不同。所以 我们不能以离散熵的概念来理解上述表达式，特别是当某些离散 熵的数学性质不在继续保持的情况下，如：非负性、对称性、扩 展性等。但值得庆幸，上式中将熵函数中最能反映信源的固有属 性的数学性质如可加性、极值性和上凸性仍旧依然保持着。因此 有可能上述表达式的某些部分仍能代表连续信源的某些物理属性。 （但我们要深入讨论离散向连续逼近时，物理属性的变化。）
Ry
p(x y)dx 1;
Rx
then : Hn ( X Y ) q( y j ) p(x y j ) log p(x y j )
j
i
q( y j ) p(x y j ) log p(x y j ) log
j
i

lim
a
Differential entropy
def
and
H () lim(log )