从通信联合收发优化剖析香农三大定理--“信息论与编码”课程论文课程：信息论与编码指导老师：王忠姓名：秦天柱学号：2012141441420摘要本文立足之点为通信系统的收发联合优化，主要根据一种基于广义的率失真函数的信源编码、信道编码和差错隐藏联合优化的方法对此进行讨论。
并在此基础上，对香农三大定理进行剖析，分析了香农三大定理的内在联系与通信系统理论构建之间的关系。
1 引言随着现代通信技术的发展，通信的重要性不言而喻。
早在二十世纪四十年代初，香农提出三大定理，奠定了通信的数字理论基础。
用户数量也随之增长，传输错误当然也不可避免。
自此，容错恢复编码技术近年来成为无线视频传输研究中的热点。
传统的方法[ 3, 4] 往往假设视频信源是统计平稳的，然后对整个视频序列建立经验的或理论的率失真模型来进行码率分配优化；并且只考虑信源编码和信道编码本身的性能，而没有考虑差错隐藏技术的影响。
本文着重分析了一种针对图像局部区域的信源信道编码以及差错隐藏特性的广义的率失真函数. 这种基于局部广义率失真特性的信源编码,信道编码和差错隐藏的联合优化(以下简称JSCE)有可能取得更好的视频传输效果。
并由此将香农的三大定理（无失真信源编码定理、信道编码定理和限失真信源编码定理）进行剖析，深入研究其内在联系和为通信系统的联合优化提供的理论支撑。
2 通信系统的联合优化2.1 广义的率失真函数在进行无线视频传输的码率优化分配时,我们将信源编解码,信道编解码和差错隐藏联合起来进行考虑.失真因素包括信源的量化误差,信道传输错误而引起的失真,以及差错隐藏的增益优化的目的, 是在一定的码流速率和信道条件下,获得最小的端对端失真.实现这种联合优化, 需要获得每一最小编码单元在一定的码率分我们将之定义为广义, 配方案和信道条件下的端对端的失真期望值的率失真函数, 用D(rs , rc c)表示, 其中rs为信源编码的码率, 单位是比特/ 像素(bpp), rc 为信道编码的效率, c 为信道的状态矩阵,它和所选的信道模型有关.例如,对于加性高斯白噪声(AWGN)信道, 可以用一个的参数, 即信噪比Eb/ N0 来表征信道状态.本文中采用均方误差(MSE)来作为图像失真的度量, 其表达式为:其中M, N 为二维图像的大小, pn , m和 pn , m为发送和接收图像像素的灰度值.广义率失真函数D(rs , rc| c), 可由图像宏块丢失后经差错隐藏后的失真dL 和量化误差引起的失真dQ 加权得到, 如下式:D(rs , rc|c)=Pe(rs , rc|c)dL +(1-Pe(rs , rc|c))dQ(rs)其中, Pe(rs , rc c)为宏块的丢失概率, 它和信源信道的码率分配rs , rc , 以及信道编码的性能有关.式(2)表明, 在相同的信道和信道编码条件下, 决定广义率失真特性的参数为dQ(rs)和dL .由于量化电平是离散的, 所以dQ(rs)是一组离散的点;同时我们可以认为dL是信源编码的码率为0, 但经过差错隐藏之后的失真.进一步, 我们构造由归一化后的不同量化电平下的失真和码率组成的特征矢量: Vdr = ( d 0 , rs0),( d 1 , rs1), … ,( dN , rsN)」其中:di =di/ dmax , rsN=rsi/ rs max , i =0, 1 , … , Ndmax和rsmax为所允许的最大失真和最大的信源编码速率则两矢量之间的度量可定义为:′N(( di - dΣ= ‖dr ′ Vdr -V‖dr)=′dr -d(Vdr , Vi)2+( rsi - r′Si)2) 1/2根据上式所定义的广义率失真函数和其特征矢量, 就可以获得对最小视频编码单元的信源编码、信道编码和差错隐藏率失真特性的有效描述, 从而可以利用它来进行码率分配优化, 以获得最小的端对端失真。
2.2 信源编码、信道编码和差错隐藏的联合优化算法为降低运算复杂度, 可以在优化前将具有相同广义率失真特性的.图像宏块合并, 从而使得优化单元的数目控制在可接受的范围之内.假设合并后的区域控制在N0 以内, 则合并算法如下:(1)设定dr-d门限值T 的初始值为T0 .(2)选取一尚未合并的宏块bi , 并将之合并到新的区域Rl .如果所有宏块均已合并, 转入(4).(3)对于尚未合并的宏块bj , 其率失真矢量为V′dr , 如果对区域Rl 中的任何一个宏块bi , 都满足:dr-d(Vdr , V′dr)<T (7)则将宏块bj 归为区域Rl .其中Vdr为bi 的率失真矢量.否则, 转(2).(4)如果合并后的区域数目N >N0 , 则将T 增加ΔT, 转入式(2)重新开始.采用以上算法, 每帧图像被分割为若干区域, 而属于同一区域的图像宏块具有相近的广义率失真特性, 从而可以采用针对整个图像序列的码率优化分配可以分解为两步.首先是对所有的区域, 在给定: 获得其最佳的码率分配方案, 的总码率下其中Kl 为该区域中MDU 的数目, rs , l , rc, l 满足:rs , l/ rc , l =rs +c , lrs +c , l是分配给该区域每一MDU 的总码率.然后将总码率在图像的各区域上进行优化分配,总码率满足:其中rs+c为信道可以传输的总码率, K 为总的最小编码单元的数目。
针对无线视频序列的有效和可靠传输, 本文提出了一种基于广义率失真函数的信源编码, 信道编码和差错隐藏的联合优化算法.仿真结果表明, 由于这种广义率失真函数综合反映了图像每一区域对量化电平和信道误码的失真敏感程度,因此它可以比传统的以整幅图像或以整个图像序列来进行码率联合优化的方法取得更好的效果，对通信系统的收、发联合优化有着非常重要的作用。
3 香农三大定理3.1 香农第一定理设离散无记忆信源X包含N个符号{x1,x2,…,xi,..,xN}，信源发其中个不同的符号序列消息，N^k则此信源可发出重符号序列，K出第j个符号序列消息的出现概率为PKj，其信源编码后所得的二进制代码组长度为Bj，代码组的平均长度B为B=PK1B1+PK2B2+…+PN^kBN^k当K趋于无限大时，B和H(X)之间的关系为B/K=H(X)(K趋近无穷）香农第一定理又称为无失真信源编码定理或变长码信源编码定理。
香农第一定理的意义：将原始信源符号转化为新的码符号，使码符号尽量服从等概分布，从而每个码符号所携带的信息量达到最大，进而可以用尽量少的码符号传输信源信息。
3.2香农第二定理有噪信道编码定理。
当信道的信息传输率不超过信道容量时，采用合适的信道编码方法可以实现任意高的传输可靠性，但若信息传输率超过了信道容量，就不可能实现可靠的传输。
设某信道有r个输入符号，s个输出符号，信道容量为C，当信道的信息传输率R<C，码长N足够长时，总可以在输入的集合中(含有r^N 个长度为N的码符号序列)，找到M （(M<=2^(N(C-a)))，a为任意小的正数)个码字，分别代表M个等可能性的消息，组成一个码以及相应的译码规则,使信道输出端的最小平均错误译码概率Pmin达到任意小。
公式：）表示。
dB为信噪比，通常用分贝（S/N为信道带宽；B注：3.3 香农第三定理保真度准则下的信源编码定理，或称有损信源编码定理。
只要码使编码后的信息传输率略大于长足够长，总可以找到一种信源编码，D'<=D。
率失真函数，而码的平均失真度不大于给定的允许失真度，即为一离散无记忆信源的信息率失真函数，并且选定有限的失设R(D)，以及任a>0D>=0，和任意小的真函数，对于任意允许平均失真度，其码字个数为W意足够长的码长N，则一定存在一种信源编码失真度D'(W)<=D+a。
M<=EXP{N[R(D)+a]}，而编码后码的平均 3.4 香农三大定理的内在联系对于信源来说，都希望把所有的信息毫无保留地传送到接收端，就要求信源消息与码序列一即实现无失真传送。
要做到无失真传送，只要码字传输的一对应，即每个信源消息可以译成唯一的一个码字。
无失真编码总可实现几乎无失真编码。
信息大于信源携带的信息量，以使信息能够在信道定理实现在信源处对需要发送的信息进行处理，较好的传输。
对于信道来说，信道容量是一个临界值，只要信息传输率不超过若有一离散无记忆平稳信道，这个值，信道传输就几乎不会产生失真。
总可以找，只要待传送的信息率B<C,C其容量为，输入序列长度为L的正Pe小于任意大于0足够长时，译码差错概率到一种编码，当L 数。
由此可知，信道编码的作用是保证信息在信道的可靠传输。
保真度准则下的信源编码定理，或称有损信源编码定理。
只要码使编码后的信息传输率略大于总可以找到一种信源编码，长足够长，率失真函数，而码的平均失真度不大于给定的允许失真度。
香农三大定律虽然都是理想编码方式，但三者结合起来就构成了现代信息论的基础理论，三大理论之间相辅相成，相互联系，为现代通信数字理论的发展做出了巨大的贡献。
结束语随着现代数字通信的发展，对通信系统的要求越来越高。
如何高质量的传送信息是人们研究的主要问题，香农三大定理是其主要理论支撑。
正如本文所提到的，信源编码、信道编码和差错隐藏的联合优化算法为人们提供的新颖的想法，把信源编码和信道编码结合起来实现通信系统的收发最优化！由此可见，香农三大定理在通信中发挥着重要的作用参考文献：[1] J Hagenauer.Rate-compatible punctured convolutional codes (RCPC)and their appli cations [ J] .IEEE Trans .Commun ., 1988 , 36(4):389-400 .[2] M Bystrom , et bined source-channel coding schemes for videotransmi ssion over an additive white Gaussian noise channel [ J] .IEEE J .Select .Areas Commun ., 1998 ,18(6):332 -337 .[3] 陈运信息论与编码（第2版）.北京：电子工业出版社，2007.9[4] 唐焕文，秦学志.实用最优化方法[M].大连：大连理工大学出版2007,3社，。