信息论与编码1. 通信系统模型信源—信源编码—加密—信道编码—信道—信道解码—解密—信源解码—信宿 | | |（加密密钥） 干扰源、窃听者 （解密秘钥）信源：向通信系统提供消息的人或机器信宿：接受消息的人或机器信道：传递消息的通道，也是传送物理信号的设施干扰源：整个系统中各个干扰的集中反映，表示消息在信道中传输受干扰情况 信源编码：编码器：把信源发出的消息变换成代码组，同时压缩信源的冗余度，提高通信的有效性 （代码组 = 基带信号；无失真用于离散信源，限失真用于连续信源）译码器：把信道译码器输出的代码组变换成信宿所需要的消息形式基本途径：一是使各个符号尽可能互相独立，即解除相关性；二是使各个符号出现的概率尽可能相等，即概率均匀化信道编码：编码器：在信源编码器输出的代码组上增加监督码元，使之具有纠错或检错的能力，提高通信的可靠性译码器：将落在纠检错范围内的错传码元检出或纠正基本途径：增大码率或频带，即增大所需的信道容量2. 自信息：()log ()X i i I x P x =-，或()log ()I x P x =-表示随机事件的不确定度，或随机事件发生后给予观察者的信息量。
条件自信息：//(/)log (/)X Y i j X Y i j I x y P x y =-联合自信息：(,)log ()XY i j XY i j I x y P x y =-3. 互信息：;(/)()(;)log log ()()()i j i j X Y i j i i j P x y P x y I x y P x P x P y ==信源的先验概率与信宿收到符号消息后计算信源各消息的后验概率的比值，表示由事件y 发生所得到的关于事件x 的信息量。
4. 信息熵：()()log ()i iiH X p x p x =-∑ 表示信源的平均不确定度，或信源输出的每个信源符号提供的平均信息量，或解除信源不确定度所需的信息量。
条件熵：,(/)()log (/)i j i j i j H X Y P x y P x y =-∑ 联合熵：,()()log ()i j i j i jH XY P x y P x y =-∑ 5. 平均互信息：,()(;)()log()()i j i j i j i j p x y I X Y p x y p x p y =∑表示由知道Y 得到的关于X 的平均信息量。
信源符号集合X ，信宿符号集合Y ，I(X;Y) 表示收到Y 后获得的关于X 的平均信息量，或发X 前后Y 的平均不确定性减少的量，或通信前后整个系统不确定性减少的量。
收发两端的熵关系：全损离散信道：I(X;Y) = 0，H(X/Y)=H(X) 无扰离散信道：I(X;Y) = H(X)，H(X/Y)=06. 数据处理定理：(;)(;),(;)(;)I X Z I X Y I Z X I Z Y ≤≤消息通过多级处理器时，随着处理器数量增多，输入与输出消息之间的平均互信息量趋于变小；即数据处理过程中只会失掉信息，而不会创造出新的信息（信息不增性）。
7. 离散信源最大熵定理：离散无记忆信源有M 个不同的信息符号，当且仅当各个符号出现概率相等时熵最大。
连续信源的熵为无穷大，公式给出的熵只有相对意义而非绝对值——矛盾的原因是逼近时所取的x 不一致。
限峰功率最大熵定理：对于定义域有限的随机矢量X ，均匀分布时有最大熵。
限平均功率最大熵定理：对于相关矩阵一定的随机矢量X ，正态分布时有最大熵。
为什么通信系统中以高斯白噪声作为设计标准？1）根据限平均功率最大熵定理，高斯白噪声是平均功率受限时最有害的干扰，以此为标 准是考虑了干扰最恶劣的情况；2）实际噪声的幅度谱也接近于高斯分布。
8. N 次扩展源平均符号熵：1211()()(...)N N N H X H X H X X X N N== 信源X 的极限符号熵：()lim ()N N H X H X ∞→∞= 9. 马尔可夫信源使马氏链最后稳定且遍历，必须有不可约性和非周期性不可约性：任意一对i 和j ，都存在至少一个k > 0，使得(k)0ijP > 非周期性：所有的()0n ii P >，n 中没有比1大的公因子求解平稳分布：1WP W w ==∑，马尔可夫信源的熵：112()(|...)()(/)m m i iiH X H X X X X p s H X s ∞+==∑ 10. 冗余度：信源符号间的相关性；信源符号分布的不均匀性。
当信源的符号之间有依赖时，信源输出消息的不确定性减弱，信源熵减小。
而信源冗余度能反映信源符号依赖关系的强弱，依赖关系越大，冗余度就越大。
()11()m H X H X γη∞=-=-极限熵()H X ∞——去关联，等概化——最大熵0()H X11. 定长编码：log ()L L K m H X L ε≥+只要码字所能携带的信息量大于信源序列输出的信息量，就可以使传输几乎无失真 变长编码：()()L L L H X K H X ε≤≤+ 只有分组码才有码表；分组码 > 非奇异码 > 唯一可译码 > 即时码定长编码需要的信源序列长，使得码表很大，且通常都存在译码差错用定长码编码时，即使在编码效率和译码差错要求不十分苛刻的情况下，就要对很长的信源序列一起进行编码，对存储或处理技术的要求太高；用变长码编码时，一起进行编码的信源序列不需要很长就可达到相当高的编码效率，而且可实现无失真编码。
12. 最佳编码思想：考虑信源的统计特性，概率大的符号编短码，概率小的符号编长码，使平均码长最短香农编码：有唯一、系统的编码方法费诺编码：更适合于对分组概率相等或接近的信源编码哈夫曼编码：综合性能最优把新节点向大概率端压的原因：减小再次被编码的机会，充分利用短码，使码长方差小，减小处理码字时存储器溢出或取空的概率。
13. 编码效率：()L H X Kη= 码的剩余度：1γη=- 码率：R η= 14. 失真函数：(,)i j d u v ，信源发出ui ，而在信宿收到vj 所引起的误差或失真在适当的失真函数下规定允许失真D ，在该失真条件下有最小信息率R(D)R(D)能在数据压缩中衡量压缩程度随着允许失真的增大，传信率可以压缩的程度增大，D 最小时不能压缩，D 最大时不用发送限失真信源编码定理：R > R(D)计算max D ，min ()R D ，max ()R D 及对应转移概率15. 信道容量：()max {(,)}P X C I X Y =反应信道最大信息传输能力，是信道的特征参数 香农公式：0log(1)log(1)av P C W W SNR WN =+=+ 受加性高斯白噪声干扰的带限波形信道的容量，是非高斯波形信道容量的下限值。
有扰信道编码定理：R < C信源与信道的匹配：一般通信系统中，把信源发出的符号变成能在信道中传输的符号，在传输时，要能够尽量用较少的符号表示信息，这样就可以提高信息的传输率，从而提高信道的利用率。
无失真信源编码就是将信源输出的消息变换成适合信道传输的新信源的消息来传输，而使新信源的符号接近等概率分布，新信源的熵接近最大熵。
这样，信源传输的信息量达到最大，信道剩余度接近于零，信源与信道达到匹配。
15. 差错控制的途径途径一：从信道编码定理出发1. 增加信道容量1）扩展带宽2）增加功率3）降噪2. 减小码率log K qR N =1）减小K ，降低信息源速率。
2）增加N ，提高波特率，占用更大带宽3）减小q ，减小信道的符号集，提高信号间的区分度3. 增加码长加大码字间的距离，同时使差错概率符合统计规律。
途径二：利用纠错1）利用冗余度。
可以利用时间，频带，功率，设备复杂度。
2）噪声均化。
可以利用增加码长，卷积，交织。
交织的作用：通过对编码器输出的码流与信道上的符号流作顺序上的变换，将突发噪声的影响分摊到多个码字上，使得对每个码字的影响都在纠检错能力范围内。
增加码长N 的好处：1. 根据()NE R e P e -<，减小差错概率需要增大N 和E(R)，同时N 增大使码率下降，也就使可靠性函数E(R)增大；2. 均化噪声，使每个码字中误码元的比例接近统计平均值；3. 增大码字间空间，可能增加码间距离，从而提高码的纠检错能力。
16. 译码方法与误码率最佳译码/最大后验概率译码最大似然译码：输入与输出等概分布时就是最佳译码最小汉明距离译码：BSC 信道的最大似然译码，发送的码字独立等概则是最佳译码 最小距离min d 与纠检错能力：1）检l 个错误：min 1d l =+2）纠t 个错误：min 21d t =+3）检l 个错误，纠t 个错误：min 1d l t =++17. 生成矩阵：**()[|]k k k n k G I P -=监督矩阵：()*(n k)*(n k)[|]Tn k k H P I ---=极大最小距离码：min =1d n k -+伴随式：T T S RH EH ==17. 循环码码多项式C(x)、生成多项式g(x)、校验多项式h(x)、消息多项式m(x)C(x) = m(x) * g(x)，g(x) * h(x) = 0 mod (x^n + 1) 生成矩阵：1()...()()()k x g x G x xg x g x -⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎣⎦ 校验矩阵：**1*()()()...()n k h x xh x H x xh x --⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎣⎦ 特点：1）编码电路与译码电路非常简单，易于实现；2）代数性质优良，编码译码分析方便。
18. 卷积码与分组码的比较：分组码将序列切割成分组后孤立地进行编译码，没有考虑分组之间的相关性；而卷积码编码时不仅考虑当前分组还会参考之前的部分分组，故性能优于分组码，但译码复杂。