R ( D ) 0
Dmax
j 1,2,, m
min
p d
i 1
n
i ij
因此可以得到R(D)的定义域为
D 0, Dmax
4.1.4 信息率失真函数的性质
Dmax是怎样来计算
R(D)＝0就是I(X;Y)＝0，
这时试验信道输入与输出是互相独立的，
所以条件概率 p(yj/xi) 与xi 无关。即
pij p( y j / xi ) p( y j ) p j
4.1.4 信息率失真函数的性质
此时平均失真为 D 求出满足条件
p
i 1 j 1
m n
n
m
i
p j d ij
p
j 1
m
j
1 的D中的最小值，即
j 1 i 1
Dmax min p j pi d ij
若 D D 则 R D R D
物理意义：容许的失真度越大，所要求的信息率越小。 反之亦然。
4.1.4 信息率失真函数的性质
综上所述，可以得出如下结论：
R(D)是非负的实数，即 R(D)0。其定义域为0～Dmax，
其值为0～H(X)。当 D>Dmax 时， R(D) 0。
第4章 信息率失真函数


本章主要讨论在信源允许一定失真情况下所需 的最少信息率； 从分析失真函数、平均失真出发，求出信息率 失真函数 R(D) 4.1 平均失真和信息率失真函数 4.2 离散信源和连续信源的 R(D) 计算
4.1 平均失真和信息率失真函数



在实际问题中，信号有一定的失真是可以容忍的; 但是当失真大于某一限度后，信息质量将被严重损伤， 甚至丧失其实用价值; 要规定失真限度，必须先有一个定量的失真测度; 为此可引入失真函数
R 尽量小；
D，在满足平均失真 D D（保真度准则）
的条件下，选择一种编码方法使信息率 R 尽可能小；
信息率
R 就是所需输出的有关信源 X 的信息量； Y 需要获得的有关 X 的信息量，
对应到假想信道，即为接收端
也就是互信息 I(X;Y)；
这样，选择信源编码方法的问题就变成了选择假想信道的问题，
符号转移概率 p(yj/xi) 就对应信道转移概率
4.1.3 信息率失真函数R(D)
D允许试验信道 平均失真由信源分布 p(xi)、假想信道的转移概率 p(yj/xi) 和失真函数 d(xi,yj) 决定，若 p(xi) 和 d(xi,yj) 已定，则可给 出满足 D D 条件的所有转移概率分布 pij，它们构成了 一个信道集合PD
0 1 P 0 1
4.1.4 信息率失真函数的性质
2、R(D)函数的下凸性和连续性 R D R D 1 R D 其中 0 1; D D 1 D 下凸性： 连续性： lim R D R D 其中 D D 0 3、R(D)函数的单调递减性
2 1 2 1 min 0 1, 1 0 j 1,2 3 3 3 3 2 1 1 min , j 1,2 3 3 3
此时输出符号概率 p(b1)＝0，p(b2)＝1，
a1 b2 , a2 b2
所以这时的编码器的转移概率为
4.1.1 失真函数


假如某一信源 X，输出样值为 xi，xi{a1,…an}，经过有 失真的信源编码器，输出 Y，样值为 yj，yj {b1,…bm} 如果xi＝yj，则认为没有失真；如果 xiyj，那么就产生了 失真 失真的大小，用一个非负量来表示，即失真函数 d(xi,yj)， 以衡量用 yj 代替 xi 所引起的失真程度 一般失真函数定义式为
这时信源编码器无失真，所以该编码器的转移概率为 1 0 P 0 1
4.1.4 信息率失真函数的性质
当R(Dmax)＝0时 Dmax min pi dij
j 1,2 2 i 1
min p1d11 p2 d 21 , p1d12 p2 d22
j 1,2
Pij PD i 1 j 1
n
m
p(b j / ai ) p(b j )
p(ai)，i＝1，2，…，n 是信源符号概率分布； p(bj/ai)，i＝1，2，…，n，j＝1，2，…，m 是转移概率分布； p(bj)，j＝1，2，…，m 是接收端收到符号概率分布。
4.1.3 信息率失真函数R(D)
xi y j 0 d(xi ,y j ) α α 0 x y i j
4.1.1 失真函数
失真矩阵
单个符号的失真函数的全体排列起来构成的矩阵，称为 失真矩阵
d (a1 , b1 ) d (a1 , b2 ) d (a , b ) d (a , b ) 2 2 d 2 1 d (an , b1 ) d (an , b2 )
d (a1 , b1 ) d (a1 , b2 ) 0 1 d d ( a , b ) d ( a , b ) 1 0 2 1 2 2
分析R(D)定义域两端的状态
4.1.4 信息率失真函数的性质
解：
当Dmin＝0时，R(Dmin)＝H(X)＝H(1/3，2/3)＝0.91比特/符号，

D


pX ,Y ( x, y)d ( x, y)dxdy
其中pX,Y(x,y)是连续随机变量的联合概率密度
对于L长序列编码情况，平均失真为 1 L D L E[d ( xil , y jl )] L l 1
1 L Dl L l 1
其中 Dl 是第l个符号的平均失真
例4.1 (p.74) 设信源的符号表为A＝{a1，a2，…，a2n}， 概率分布为p(ai)＝1/2n，i＝1，2，…，2n，失真函数规 定为
1 i j d ( ai , a j ) 0 i j
即符号不发生差错时失真为0，一旦出错，失真为1，试
研究在一定编码条件下信息压缩的程度
从上式观察可得：在 j=1,2,…,m 中，可找到 pi d ij 值最
小的 j，当该 j 对应的 pj＝1，而其余 pj 为零时，上式 右边达到最小，这时上式可简化成
Dmax
j 1,2,, m
i 1
n
min
p d
i 1
n
i ij
4.1.4 信息率失真函数的性质
例4.2 (p.76) 设输入输出符号表为 X＝Y{0，1}，输入 概率分布p(x)={1/3，2/3}，失真矩阵为
4.1.3 信息率失真函数R(D)
信源X经过有失真的信源编码器将信源编码器输出 Y，将 这样的编码器看作存在干扰的假想信道 X
X a1, a2 ,
信源编码器
an
Y
Y b1, b2 , bn
假想信道
4.1.3 信息率失真函数R(D)
信源编码器的目的：使编码后所需的信息传输率 然而R越小，引起的平均失真就越大； 给出一个失真的限制值
如果假定离散信源输出符号序列X=(X1X2…Xl…XL)，其中L
长符号序列样值 xi ＝(xi1xi2…xil…xiL) ，经信源编码后，输 出符号序列Y=(Y 1Y 2…Y l…Y L)，其中L长符号序列样值yj
＝(yj1yj2…yjl…yjL)，则序列失真函数定义为：
1 L d L ( xi , y j ) d ( xil , y jl ) L l 1
4.1.4 信息率失真函数的性质
1. R(D)函数的定义域 ⑴ Dmin和 R(Dmin) Dmin＝0 对于离散信源 R( Dmin ) R(0) H ( X )
对于连续信源
R( Dmin ) R(0) H c ( x)
4.1.4 信息率失真函数的性质
(2) Dmax和 R(Dmax) 选择所有满足R(D)＝0中D的最小值，定义为R(D)定义 域的上限Dmax，即 Dmax min D
4.1.5 信息率失真函数与信道容量的比较
表4-1 R(D)与C的比较 信道容量C 研究对象 给定条件 选择参数 结论
I ( X ;Y ) H ( X ) H ( X / Y )
率失真函数R(D) 信源 信源概率分布p(xi) 信源编码器映射关系p(y/x)
R( D) min I ( X ; Y )
p1 p2 pn 1 1 1 n , pn 2n 2n
信道输出概率分布为 则输出熵为
1 1 1 n 1 n H Y H , , , log 2 n log n 1 2 n 2 n 2 n 2 n n 1个
R( D ) min I ( X ; Y )
PD
信息率失真函数 R(D)的物理意义：对于给定信源，在平均失真不超 过失真限度D的条件下，信息率容许减小到（压缩）的最小值 R(D)
4.1.3 信息率失真函数R(D)
对于离散无记忆信源，R(D)函数可写成
R( D) min p(ai ) p(b j / ai ) log
R(D) 是关于D的下凸函数，因而也是关 NhomakorabeaD的连续函
数。
R(D)是关于D的严格单调递减函数。
4.1.4 信息率失真函数的性质
由以上三点结论，对一般R(D)曲线的形态可以画出来：
R(D)
H(X) R(D)
R(D) 0 D Dmax D
0
Dmax D
(b) 连续系统
(a) 离散系统
信息率失真曲线
PD p(b j / ai ) : D D

i 1,2,, n; j 1,2,, m

此信道集合称为D允许试验信道