成绩
信息与通信工程学院实验报告
（软件仿真性实验）
课程名称：信息论基础
实验题目：绘制信源熵函数曲线指导教师：毛煜茹班级：学号：19 学生姓名：王宇
一、实验目的和任务
掌握离散信源熵的原理和计算方法。
熟悉matlab软件的基本操作，练习应用matlab软件进行信源熵函数曲线的绘制。
理解信源熵的物理意义，并能从信源熵函数曲线图上进行解释其物理意义。
二、实验内容及原理
实验内容：
用matlab软件绘制二源信源熵函数曲线。
根据曲线说明信源熵的物理意义。
实验原理：
（1）离散信源相关的基本概念、原理和计算公式
产生离散信息的信源称为离散信源。
离散信源只能产生有限种符号。
假定X是一个离散随机变量，即它的取值范围R={x1，x2，x3，…}是有限或可数的。
设第i个变量x i发生的概率为p i=P{X=x i}。
则：
定义一个随机事件的自信息量I(x i)为其对应的随机变量x i出现概率对数的负值。
即：
I(x i)= -log2p(x i)
定义随机事件X的平均不确定度H(X)为离散随机变量x i出现概率的数学期望，即：
∑∑
-
=
=
i i
i i
i i
x
p
x
p
x
I
x
p
X
H)
(
log
)
(
)
(
)
(
)
(
单位为比特/符号或比特/符号序列。
平均不确定度H（X）的定义公式与热力学中熵的表示形式相同，所以又把平均不确定度H（X）称为信源X的信源熵。
必须注意以下几点：
某一信源，不管它是否输出符号，只有这些符号具有某些概率特性，必有信源的熵值；
这熵值是在总体平均上才有意义，因而是个确定值，一般写成H（X），X是指随机变
量的整体（包括概率分布）。
信息量则只有当信源输出符号而被接收者收到后，才有意义，这就是给与信息者的信
息度量，这值本身也可以是随机量，也可以与接收者的情况有关。
熵是在平均意义上来表征信源的总体特征的，信源熵是表征信源的平均不确定度，平
均自信息量是消除信源不确定度时所需要的信息的量度，即收到一个信源符号，全
部解除了这个符号的不确定度。
或者说获得这么大的信息量后，信源不确定度就被
消除了。
信源熵和平均自信息量两者在数值上相等，但含义不同。
当某一符号x i的概率p(x i)为零时，p(x i)log p(x i) 在熵公式中无意义，为此规定这时的
p(x i)log p(x i) 也为零。
当信源X中只含有一个符号x时，必有p(x)=1，此时信源熵H
（X）为零。
例1-1，设信源符号集X ={0，1}，每个符号发生的概率分别为p (0)=p ，p (1)=q ，p+ q =1，即信源的概率空间为
⎥⎦
⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡ 1 0q p P X 则该二元信源的信源熵为：
H (X ) = - p log p – q log q = - p log p – (1- p ) log (1- p)
即：H (p) = - p log p – (1- p ) log (1- p)
其中0 ≤ p ≤1
P =0时，H (0) = 0
P =1时，H (1) = 0
（2）MATLAB 二维绘图：
例对函数y = f (x )进行绘图，则用matlab 中的命令plot(x , y )就可以自动绘制出二维图来。
如果打开过图形窗口，则在最近打开的图形窗口上绘制此图；如果未打开图形窗口，则开一个新的图形窗口绘图。
例1-2，在matlab 上绘制余弦曲线图，y = cos x ，其中0 ≤ x ≤ 2。
>>x =0::2*pi ； %生成横坐标向量，使其为0，，，…，
>>y =cos(x )； %计算余弦向量
>>plot(x ,y ) %绘制图形 三、实验数据及程序代码
程序代码 p=::1;
h=-p.*log2(p)-(1-p).*log2(1-p);
plot(p,h);
title('二元熵函数曲线');
ylabel('H(p,1-p)')
实验数据
图二元熵函数曲线
四、实验数据分析及处理
从图中可以看出：如果二元信源的输出符号是确定的，即p=1或q=1，则该信源不提供任何信息；反之，当二元信源符号0和1以等概率发生时，信源熵达到最大值，等于1bit信息量。
五、实验结论与感悟（或讨论）
这次课程设计是用学过的信息论与编码为依据，用MATLAB 代码实现，通过这次课程设计，感触特别多，也学到了很多东西。
首先，为了完成这次的课程设计，翻阅了很多有关这次设计的参考书，对这些参考书的有关内容都做了认真的分析，了解了一些函
数的用法。
其次，通过本次课程设计，学习了信息熵有关的计算。
还加强了我们的动手能力和自觉性，巩固和运用在课程中所学的理论知识和实验技能，提高了自己的发现问题，分析问题和解决问题的能力。
再次，在做课程设计的过程中会遇到很多的困难，在困难面前不要放弃，只要有细心和耐心，坚持下去会达到想要的设计结果。