P D { P ji:D d P iP jd i(u iuj)}
ij
最后定义: R(D )miIn (U;V) pj i pD R(D) min I( U,V ) PjiPD
---------单个消息信源
---------序列(L个)信源
其中I(U;V) 为U,V间的互信息 , I(U;V) 为U,V间的互信息
另外，根据需要也还可划分更多的子变换。
P.13
BUPT Information Theory & Technology Center
二 给出各部分描述与度量 （续）
（五） 通信系统S
当已知信源U,信宿V,信道C以及编译码(f ,g)时，可给出一个确 知的通信系统S.
S={U, V, C, (fi , gi)}i=1,2,3… 可以分别表示有效（i=1）、安全（i=2）、可靠（i=3）的单 指标优化系统。
其中 uLU={1,2,…,n} 对应概率:p UL (uL) = p(u1…ul …uL)
i 1,… , n
l 1,… , L
P.4
BUPT Information Theory & Technology Center
（一) 信源 U （续）
1. 无失真信源描述与度量:
描述 定义:U = [ UL , p(uL) ]，对于单个离散消息 即L =1时 可简化为:U=[ U , p(u) ]
P.7
BUPT Information Theory & Technology Center
二 给出各部分描述与度量 （续）
（二） 信道 C
描述信道的三要素: 信道输入集合:X n XX … … X （n维）
且 X n （有限），X 为单消息取值数。 信道输出集合: Y n YY … … Y（n维）
且 Y n （有限），Y 为单消息取值数。
信道转移概率: P ( y n x n )
其中 xn(x1...x.i...x.n.). yn(y1...y.i.....y.n.).
P.8
BUPT Information Theory & Technology Center
（二） 信道 C （续）
信道描述如下:
（四） 编、译码 ( f , g ) （续）
f
:UL
Xnff12::USmL
Sm Cm
f3 :Cm Xn
g:Yn
VLgg32
:Yn Cm :Cm Sm
g1 : Sm VL
( f ,g ) ( f 1 ,g 1 )( f 2 ,g 2 )( f 3 ,g 3 )
其中 ( f1, g1)为有效性的信源编译码； ( f2, g2)为安全性的加解密码； ( f3, g3)为可靠性的信道编译码。
描述:先定义失真函数: d(uL, vL)：UL × VL -----> [0, ) d(u , v)：U × V -----> [0, ) 则有:U={ [UL , p(uL)] , [ UL × VL, d(uL,vL) ] }
U={ [U , p(u)] , [U × V, d(u,v) ] }
码，在数学上可看作是一种映射；（消息空间） 在物理上可看作是一种变换。（消息空间）
即 f :UL Xn ——编码
g:Yn VL ——译码
若选 U V X Y G ( 2 ) F { 0 ,1 } 即为二元有限域，则称上述码为二元码
P.11
BUPT Information Theory & Technology Center
二 给出各部分描述与度量 （续）
（三） 信宿 V
它的描述完全类似于信源。其度量，无失真用互信息 I(U;V) 表示，限失真时用R(D) 函数表示。
P.10
BUPT Information Theory & Technology Center
二 给出各部分描述与度量 （续）
（四） 编、译码 ( f , g )
P.6
BUPT Information Theory & Technology Center
2. 限失真信源描述与度量（续）:
度量:定义一个限失真的信息率失真函数R(D)来代替无失真 时的信源熵H(U) . 为了简化，仅讨论单个消息情况:
首先给出信源（宿）的最大允许失真率D,在定义失真为D时， 条件转移概率的变化范围为PD。
[X n p (x n )] 信 道 [Y n q (y n )]
输入
P( yn xn )
输出
定义： e[Xn,P(yn/xn)Y ,n]
e[X,P (y/x)Y ,]
信道度量：定义信道容量值如下：（这里为了简化，仅定义单消 息（n＝1）的信道）
CmaxI(X;Y) pi P.9
BUPT Information Theory & Technology Center
信息理论与技术 教研中心ITTC
第一章 通信系统优化模型 贺志强 P.1
BUPT Information Theory & Technology Center
P.2
BUPT Information Theory & Technology Center
P.3
BUPT Information Theory & Technology Center
无失真信源度量:
定义:
H (U L ) p (u L ) log p (u L ) uU L
H (U ) p (u ) log p (u )
uU
n
pi log pi
i 1
P.5
BUPT Information Theory & Technology Center
（一) 信源 U （续） 2. 限失真信源描述与度量
（四）ቤተ መጻሕፍቲ ባይዱ编、译码 ( f , g ) （续）
下面，我们根据通信系统主要技术指标 数量指标——通信有效性
质量指标抗 抗自 人然 为干 干扰 扰的 的可 安靠 全性 性
由这三个指标可进一步将编译码 ( f , g ) 分解为三个子变换：
P.12
BUPT Information Theory & Technology Center
BUPT Information Theory & Technology Center
二 给出各部分描述与度量
（一) 信源 U
基本参量
取值空间（集合）:UL=U×U×…×U （L维）
其中每一个:U={1,2,…n},n种取值
信源输出:UL=(U1…Ul …UL) 输出样值: uL=(u1…ul …uL)