给定D时，若R(D)越小，代表信源可被压缩的潜力越大
7
7.2 信息率失真函数及其性质
—— 信息率失真函数的性质
信源 U
P(vj | ui )
试验信道
V 信宿
D失真许可的试验信道中，平均互信息的最小值：
R(D) mi{nI(U;V)} P(vj|ui)BD
• 取值范围：
0R(D )H(U)
• 单调递减和连续性
1 (00)1B 1
1
ui (101) B v j (001)B
1
(10)0B 4
16
3
7.1 失真度和平均失真度
—— 平均失真度
信源 U
P(vj | ui )
试验信道
V 信宿
D E[d(u,v)] U,V P(uv)d(u,v) U,V rs P(ui)P(vj |ui)d(ui,vj) i1 j1
I2(U;V)
Im(U;V)
R(D)
6
7.2 信息率失真函数及其性质
—— 信息率失真函数
信源 U
P(vj | ui )
试验信道
V 信宿
D失真许可的试验信道中，平均互信息的最小值：
R(D) mi{nI(U;V)} P(vj|ui)BD
当要求失值
R'C (香农第二定理)
R(D)R'C
10
信道 编码
信道 干扰
信道 译码
信源 译码
信宿
信源 U
P(vj | ui )
试验信道
V 信宿
2
7.1 失真度和平均失真度
—— 失真度
信源 U
P(vj | ui )
试验信道
V 信宿
失真度 d (ui,v j)
D汉明
| ui vj | | ui vj |2
ui (101) B v j (100 ) B
4
7.1 失真度和平均失真度
—— 保真度准则
信源 U
P(vj | ui )
试验信道
V 信宿
保真度准则： DD（其中D为允许的最大失真）
D失真许可的试验信道的集合 —— 所有满足保真度准则的试验信道的集合：
B D { P ( v j|u i) :D D ;i 1 ,2 , ,r ,j 1 ,2 , ,s }
8
7.6 保真度准则下的信源编码定理 —— 香农第三定理
对于任意D0，只要码长n足够长，总可以找到一 种编码C，是编码后每个信源符号的信息传输率
R'logMR(D) n
且码的平均失真度
d(C)D
9
7.7 联合有失真信源信道编码定理
—— 香农第二定理+第三定理
C
信源
信源 R' 信道
编码 编码
信道
要实现保失真准则D下的传输，必须满足 R'R(D) (香农第三定理)
第7章 保真度准则下的 信源编码
7.1 失真度和平均失真度 7.2 信息率失真函数及其性质 7.4 二元和离散对称信源的R(D)函数 7.6 保真度准则下的信源编码定理 7.7 联合有失真信源信道编码定理 7.8 限失真信源编码定理的实用意义
7.1 失真度和平均失真度 —— 试验信道
信源
信源 编码
5
7.2 信息率失真函数及其性质
—— 信息率失真函数
信源 U
P(vj | ui )
试验信道
V 信宿
D失真许可的试验信道中，平均互信息的最小值：
R(D) mi{nI(U;V)} P(vj|ui)BD
BD
P1(vj | ui ) D1 D
I1(U;V)
D
P2(vj | ui ) D2 D
Pm(vj | ui ) Dm D