信息理论与编码实验指导书
实验一离散信源信息熵
一、实验目的
1、理解自信息量和信息熵的基本含义；
2、熟练掌握自信息量和信息熵的计算；
3、熟悉MATLAB 开发环境的使用；
二、实验仪器
计算机、Matlab 仿真软件
三、实验原理
自信息是一个随机变量,它是指某一信源发出某一消息所含有的信息量。
所发出的消息不同，它们所含有的信息量也就不同。
任何一个消息的自信息量都代表不了信源所包含的平均自信息量，不能作为整个信源的信息测度，因此，定义自信息量的数学期望为信源的平均自信息量：
称为信息熵。
信息熵的意义：信源的信息熵H是从整个信源的统计特性来考虑的。
它是从平均意义上来表征信源的总体信息测度的。
对于某特定的信源，其信息熵是一个确定的数值。
不同的信源因统计特性不同，其熵也不同。
四、实验内容
1、根据书本习题2.5和习题2.7，建立离散信源的概率空间；
2、按照题目要求，用matlab实现离散信源自信息量和信息熵的计算；
3、将程序在计算机上仿真，验证其计算结果与实际运算结果相符否。
五、实验要求
1、提前预习实验，认真阅读实验原理以及相应的参考书。
2．简要说明信源熵的含义及信源熵的计算
3、写出信源熵的计算过程，并画出信源熵计算的程序流程图
4、给出信源熵计算的matlab源程序
5、分析软件仿真或计算结果
实验二 离散信道容量
一、实验目的
1、理解信道转移概率矩阵及其特点；
2、理解信道容量的定义和最佳输入概率分布；
3、掌握信道容量和平均互信息的计算步骤；
4、用 MATLAB 进行简单地编程
二、实验仪器
计算机、Matlab 仿真软件
三、实验原理
1、平均互信息
平均互信息代表接收到输出符号后平均每个符号获得的关于输入符号的信息量。
定义为
I(X;Y)=H(X)-H(X|Y)
其中，H （X ）代表接收到输出符号以前关于输入变量X 的平均不确定性，H(X|Y)代表接收到输出符号后关于输入变量X 的平均不确定性。
2、信道容量
对于一个固定的信道，总存在一种信源，使传输每个符号平均获得的信息量最大。
也就是每个固定信道都有一个最大的信息传输率。
我们把这个最大的信息传输率定义为信道容量，即
信息容量是完全描述信道特性的参量，是信道能够传输的最大信息量。
它与输入信源的概率分布无关，只与信道的统计特性有关。
离散信道中有一类特殊的信道，它具有很强的对称性。
信道矩阵P 中每一行都是由同一集合{p1’, p2’,…, ps ’}中的诸元素不同排列组成；每一列也都是由{q1’, q2’,…, qr ’} 中的诸元素不同排列组成。
对于这类信道，它的容量为
四、实验内容
1、建立教材106页习题3.9所要求的数学模型。
2、写出数学模型的Matlab 程序。
3、将程序在计算机上仿真实现。
4、验证程序的正确性。
五、实验要求
1、提前预习实验，认真阅读实验原理以及相应的参考书。
2．简要说明信道容量的含义和特点，并计算信道容量
3、写出信道容量的计算过程，并画出程序流程图
4、给出信道容量计算的matlab 源程序
)};({max )(Y X I C X P =（比特/符号） )/()',...,','(log 21symbol bit p p p H s C s
-=
5、分析软件仿真或计算结果
实验三霍夫曼编码
一、实验目的：
1、理解Huffman编码的基本原理及其特点；
2、熟练掌握Huffman编码的方法步骤；
3、熟练地用Matlab编写二元Huffman编码的程序；
二、实验仪器
计算机、Matlab 仿真软件
三、实验原理
Huffman 编码原理：
①将信源符号按概率从大到小的顺序排列，令
p(x1)≥p(x2)≥…≥p(x n)
②给两个概率最小的信源符号p(x n-1)和p(x n)各分配一个码位“0”和“1”，将这两个信源符号合并成一个新符号，并用这两个最小的概率之和作为新符号的概率，
结果得到一个只包含(n－1)个信源符号的新信源。
称为信源的第一次缩减信源，
用S1表示。
③将缩减信源S1的符号仍按概率从大到小顺序排列，重复步骤2，得到只含(n
－2)个符号的缩减信源S2。
④重复上述步骤，直至缩减信源只剩两个符号为止，此时所剩两个符号的概率之和必为1。
然后从最后一级缩减信源开始，依编码路径向前返回，就得到各
信源符号所对应的码字。
四、实验内容
1、根据Huffman编码的方法步骤，用Matlab编写二元Huffman编码的程序；
2、用习题8.11和例8.1验证程序的正确性。
五、实验要求
1、提前预习实验，认真阅读实验原理以及相应的参考书。
2．阐述霍夫曼编码的基本原理与特点
3、写出霍夫曼编码的基本步骤
4、对给定的任一个信源，通过matlab实现二元霍夫曼编码，画出程序流程图
5、讨论不同的Huffman编码的平均码长如何变化，码字长度偏离平均码长对编码性能的影响。
实验五汉明码
一、实验目的：
1、理解汉明码的基本原理及其特点；
2、熟练掌握汉明码编码的方法步骤；
3、熟练地用Matlab编写汉明码程序；
二、实验仪器
计算机、Matlab 仿真软件
三、实验原理
四、实验内容
五、实验要求
1、提前预习实验，认真阅读实验原理以及相应的参考书。
2．阐述汉明码的基本原理与特点
3、写出汉明码的基本步骤，画出实现汉明码的程序流程图
4、给出循环码的源程序，并给出实验过程中的测试结果
5、分析软件仿真或计算结果。