信息论基础
3) 归一性：
H
s
1 2
,
1 2
1
信息论基础
4) 可扩展性：
H s ( p1 , pN ) H s (0, p1 ,, pN ) H s ( p1 ,, pi ,0, pi1 , pN ) H s ( p1,, pN ,0), i 1,, N 1
信息论基础
5) 确定性：
不是信息本身。
信息论基础
信息如何度量：
事物特性五花八门， 物质有一个量——质量 m 信息可否有一个量：信息量？
信息论基础
事物特性一个最普遍的特征： 组织程度——结构化——有序性
如果能找到一个组织程度的衡量也好。
很难。
反过来：找一个混乱程度的度量，一个 无序性的度量——有先例——热力学 热运动是一种无序运动。
11.信息是数据或消息中所蕴含的定义，它与 信息载体无关。（人工智能词典）
12.信息是客观世界在万物和人类彼此之间相 互感受和认识的再现，它反映了被感受对 象和所考察事物的状态、特性和变化。
信息论基础
1. 客观性。 2. 主体的引入。 3. 形式与实际内涵。
深入其内涵 4. 不确定性是信息的一种度量，但并
0 q jk 1,
k 1,, N,
j
1,,
M
,
N
q jk 1
k 1
信息论基础
7) 极值性：
H
s
(
p1 ,,
pN
)
Hs
1 N
,,
1 N
log
N
信息论基础
8) 条件熵不大于无条件熵:
M
p j H s (q j1,, q jN
)
H s
M
M
p j q j1,,
p j q jN
信息论基础
③ 可加性： 随机变量的取值通过若干次试验才最后 得到时，随即变量在多次试验中的不确 定性程度应可加，且其和与通过一次试 验所取得结果的不确定性程度相同：
信息论基础
例：
H
s
1 2
,
1 3
,
1 6
H
s
1 2
,
1 2
1 2
H
s
2 3
,
1 3
1 2
x1
1
3 x2
1 6
x3
1 P1 2
N
Pn 1 1
信息论基础
用密度矩阵描述
P()
a1
P1
aN PN
信息论基础
例：
P()
a1 0.01
a2 0.99
P()
b1 0.4
b2 0.6
P()
c1 0.5
c2 0.5
信息论基础
从概念可知， 若 P(a1) 0 ，P(a2 ) 1，不确定性为0。 故不确定性最大为： P(a1) 0.5 ，P(a2 ) 0.5，等概率。
信息论基础
无序性与热熵的关系：
物理学家R. Clausius提出熵的定义：
S
dQ T
Q —— 热量 T —— 绝对温度 描述热力学系统状况的一个函数
信息论基础
玻耳兹曼给出熵与物理系统微观 状态数 的关系：
S ln
信息论基础
1900年普朗克引进玻耳兹曼常数K， 得：
S K ln
越大，表示系统可能的微观
熵与信息量
信息论基础
Shannon熵公式的重要性质： 1) 非负性：（不确定性最小为0）
log pk 0, 0 pk 1
H (x) 0
信息论基础
2) 对称性： H s ( p1 , p N ) H s ( pK (1) , pK (N ) )
其中 {k(1),, k(N)} 是 {1,, N} 的任意 变换。
5. 知识就是信息。（日本广辞苑） 6. 使事件出现不确定性减少的消息就
是信息。
信息论基础
7. 差异就是信息。 8. 消息是组织程度的度量。 9. 信息是客观事物在我们感受中的反
映。 （人死了还有信息吗？）客观性。
信息论基础
10.信息就是我们在适应外部世界和控制外部 世界过程中，同外部世界进行交换的内容 与名称。（物质与能量呢？）
信息论基础
信息论基础
什么是信息的12个问题：
1. 消息就是信息。(虚假消息也是信 息？有人称为负信息。)
2. 数据就是信息。 (形式与内容相同的。)
3. 新闻就是信息。
韦伯字典 牛津字典
信息论基础
4. 对消息接受者来说，预先不知道的 报道。 (辞海)
知道了就不是信息？没有信息？ 预先知道就没有信息。
状态数越多，即可能的变化越大， 可看为无序性越大。
信息论基础
热熵：系统无序性的一个度量， 或分子位置不确定性的一种度量。
从概率理论出发，对不确定性度 量的另一种考虑：
如何确定一个随机变量的不确定性程 度？
信息论基础
一个函数随机变量X，有N个可能取值： a1 aN ，各取值出现概率
P1 P(a1 ) ……
P2
1 3
P3
1 61x122 3x21q
2
1
x3
3
1 P1 2
P2
1 3
P3
1 6
信息论基础
仙农证明，同时满足三条件，形 式唯一：
N
f (P1 , P2 , PN ) C * pn * log pn n 1 C = 常数 > 0
信息论基础
形式上与热力学的熵相同。 叫什么名字呢？
仙农：叫“信息”？ Neuman：熵
显然，不确定性的大小与概率分布有关。
▪ 是什么关系呢？
信息论基础
仙农提出，应是概率分布的函数 f (P1, P2 ,PN ) 它满足：
① 连续性：是 Pn的连续函数。 ② 等概率时，是N的单调增函数。
若 f 1 , 1 , 1 g(N ) 是N的单调增函数，
N N N
▪ 等概率时，取值数越多，不确定性越大
H s (1,0) H s (0,1) 0
信息论基础
6) 可加性：
H s ( p1q11 ,, p1q1N ,, pM qM1 , pM qMN )
M
H s ( p1 ,, pM ) p j H s (q j1 ,, q jN ) s 1 M 0 p j 1, j 1,, M , p j 1 j 1
j 1
j1
j 1
0 p j 1, 0 q jk 1,
j 1,, M , k 1,, M ,
M
pj 1
j 1
M
q jk 1
k 1
j 1,, M
信息论基础
9) Shannon不等式:
N
N
pi log pi pi log qi
i 1
i 1
0 pi 1, 0 qi 1
i 1,, N; i 1,, N
M
pi 1
i 1
M
qi 1
i 1
信息论基础
10) H(p)是p的上凸函数:
对二元熵函数
x
p(x)
0
p
1
1
p
，有
p=0.5最大，p=0，1最小 H(p)随p偏离0.5而单调下降
信息论基础
H P
0
0.5
1.0 P