熵函数计算！
H(X) I(X;Y) H(X/Y) H(Y/X) H(Y)
信道疑义度（损失熵） H(XY)
噪声熵（散布度）
10
Jensen’s inequality
Theorem: (Jensen’s inequality) If f is convex, then If f is strictly convex, the equality implies X = E[X] with probability 1.
{
}
∑r
i =1
q
−li
≤1
) 无失真变长信源编码定理: 离散无记忆平稳信源S，其熵率为 H (S，并有码 符号X={x1,…,xr}。对信源S进行编码,总可以找到一种编码方法，构成惟一
可译码，使信源S中每个信源符号所需的平均码长满足:
DUT
应用信息论基础
金明录 教授
19
信道容量 信道容量
应用信息论基础
消息在不失真传输的条件下，信道所允许的最大信息传输速 率称为信道容量，即 C = Rmax。（或 Ct = Rt max ）
信道容量的计算
最佳输入分布
C = max{I ( X；Y )}
p( x)
信道容量C已与输入信源的概率分布无关，它只是信道转移概率 的函数，只与信道的统计特性有关。即对于一个特定的信道，其信 道容量C是确定的，是不随输入信源的概率分布而变得，信道容量 C取值的大小，直接反映了信道质量的高低。所以，信道容量是完 全描述信道特性的参量，是信道能够传输的最大信息量。
P (GεN ) > 1 − δ ; P (GεN ) ≤ ε 2 − N ( H ( S ) +ε ) < P ( S1 , S 2 ,
ξ=
GεN qN
信源序列集合 q
N
, S N ) < 2 − N ( H ( S ) −ε ) GN ε
(1 − δ )2 − N ( H ( S ) +ε ) < GεN < 2 − N ( H ( S ) −ε )
L
L长 共有rL个
N次扩展信源
α i = ( si , si , , si ) ↔ Wi = ( xi , xi , , xi )
1 2 N 1 2 L
qN ≤ rL
N长 共有qN个
L长 共有rL个
23
典型序列与等长信源编码定理
应用信息论基础
任何一个离散随机序列信源当序列长度N→∝时,信源序列会产 生两极分化.大概率事件集合GεN 与小概率事件集合GεN ,即qN= GεN ∪GεN
也称为Kullback-Leibler距离、交叉熵（Cross-Entropu）、散 度（Divergence）、相对熵（relative entropy）
DUT
应用信息论基础
金明录 教授
17
熵、互信息和鉴别信息
信息论的三个基本概念分别给出了随机变量不确定性的量度以 及在消除或减少这一不确定性时所获信息的量度。
3
离散信源的信息描述 单符号离散信源
x1 , x2 , ⎧ X: [X ⋅ P] : ⎨ ⎩P(X) : P( x1 ), P( x2 ), , xi , , , P( xi ),
应用信息论基础
⎫ ⎬ , P( xN ) ⎭ xN
自信息
I ( x i ) = log 1 = − log P ( x i ) P ( xi )
13
信息传输速率
应用信息论基础
信息传输速率
Ｘ
P (b j / a i )
Ｙ
R = I ( X；Y ) = H ( X ) − H ( X / Y )
1 1 1 R t = I ( X； Y ) = H ( X ) − H ( X / Y ) t t t
比特/符号
比特/秒
14
随机过程的熵率
Entropy rate. Two definitions of entropy rate for a stochastic processare
p (ai , b j ) p (b j ) p (ai ) p (b j / ai )
∑ p(a ) p(b
i =1 i
r
j
/ ai )
⎧ a1 ⎪a ⎪ 2 X⎨ ⎪ ⎪ ⎩ ar
b1 ⎫ b2 ⎪ ⎪ ⎬Y ⎪ ⎪ bs ⎭
8
互信息概念物理解释
应用信息论基础
收到bj后 关于ai的 不确定性
关于ai的 不确定性
2 N [ H ( S ) +ε ] < ≈ 2 − N [log q − H ( s ) −ε ] qN
GN ε
等长信源编码定理
L H (S ) + ε ≥ N log r
编码效率
H ( S ) ⎛ NH ( S ) ⎞ ⎜= η= ⎜ L log r ⎟ ⎟ R' ⎝ ⎠
L R' = log r N
L H ( S ) − 2ε ≤ N log r
D I (S N ) η2 N≥ H 2 ( S ) (1 − η )2 δ
24
[
]
Kraft不等式与无失真信源编码定理
应用信息论基础
} Kraft不等式：设信源符号 S = s1 , s 2 , , s q，码符号 X = {x1 , x 2 , , x r，对信源 W 进行编码，相应的码字为 W = { 1 , W2 , , Wq } ，其分别对应的码长为l1 , l 2 , , l q， 则即时码存在的充分必要条件是：
P (b j / ai )
Ｙ
（4）平均互信息与各类熵的关系
I ( X；Y ) = H ( X ) − H ( X / Y ) = H (Y ) − H (Y / X )
（5）凸函数性
= H ( X ) + H (Y ) − H ( XY )
在 p( y / x ) 条件下，是 p(x ) 的∩型凸函数 在 p(x ) 条件下，是 p( y / x ) 的∪型凸函数
信源的信息熵
H(X) = E[I (xi )] = ∑P(xi ) ⋅ I (xi )
i=1 N
信息熵的物理意义
信源的平均不确定性（随机性） 信源的平均信息量 表示信源所需的最少比特数
4
离散信源的扩展信源 单符号离散信源
⎡ X ⎤ ⎡ a1， a 2， ⎢ p ( x)⎥ = ⎢ ⎣ ⎦ ⎢ p1， p 2， ⎣ ， aq ⎤ ⎥ ， pq ⎥ ⎦
应用信息论基础
∑p
i =1
q
i
=1
离散信源X的N次扩展信源
α i = (ai , ai , ai ,
1 2 3
aiN )
， α qN ⎤ ⎥ ， p(α q N ) ⎥ ⎦
α 2， ⎡ X N ⎤ ⎡ α 1， ⎢ ⎥=⎢ ⎢ p(α i )⎥ ⎢ p(α 1 )， p(α 2 )， ⎣ ⎦ ⎣
∑ p(α ) = 1
21
信源编码基本概念
应用信息论基础
1 2 l
• • • • • • • • • • •
si ↔ wi = ( xi , xi , , xi ) 分组码 二元码 编码器 C = {w , w , , w } S = {s , s , , s } 等长码 变长码 X ={x1, x2, , xr} 非奇异码 si ≠ s j ⇒ Wi ≠ W j si , s j ∈ S Wi , W j ∈ C 奇异码 B = {B = (w w w ) i , i , , i = 1,2, , q i = 1,2, , q } 同价码 码的N次扩展码 唯一可译码 即时码 树码
Markov
DUT
应用信息论基础
金明录 教授
15
Fano’s inequality
DUT
应用信息论基础
金明录 教授
16
鉴别信息
定义:两个随机分布p(x)和q(x)之间的鉴别信息定义为
物理意义：
为鉴别H2和H1而对随机变量X在H2假设的分布下进行观察所平均得到 的倾向于H2 的信息量 观察者对随即变量X的了解由分布q(x)变为p(x)时，所获得的信息量 当实际分布为p(x)而估计为q(x)时，D(p||q)衡量了这种估计的偏 差程度，描述信源所需的平均比特数为
随机变量不确定性的量度:香农定义的熵是随机变量不确定性的最 合理的量度。 减少或消除随机变量的不确定性的两条途径和信息的两种量度:
一条是对另一个与我们感兴趣的随机变量统计关联的随机变量进行观 察、试验, 从而获得关于原随机变量的信息, 减少或消除其不确定性。 该信息量可以用互信息进行量度。 另一条是对我们感兴趣的随机变量本身进行观察、试验, 从而获得信 息, 减少或消除其不确定性。该信息量可以用鉴别信息进行量度。
i =1 i
qN
H ( X N ) = NH ( X )
5
熵函数的性质
应用信息论基础
6
离散信源的冗余度
应用信息论基础
定义: 一个信源的实际信息熵 H 0与具有同样符号集的最 大熵 H ∞的比值称为熵的相对率，即
η=
H∞ H0
定义: 1减去熵的相对率称为信源剩余度，即
r =1−η =1− H∞ H0
1 2 q
1 2 q
N i i1 i2 iN 1 2 N
22
无失真信源编码
S = {s1 , s2 ,
应用信息论基础
, sq }
编码器
C = {w1 , w2 ,
, wq }
X ={x1, x2, , xr}
单符号信源
si ↔ wi = ( xi1 , xi2 ,
单个符号 共有q个
, xiL )
q≤r