《信息论基础》教学大纲
课程编号：CE6006
课程名称：信息论基础英文名称：Foundation of Information Theory
学分/学时：2/32 课程性质：选修课
适用专业：信息安全，网络工程建议开设学期：6 先修课程：概率论与数理统计开课单位：网络与信息安全学院
一、课程的教学目标与任务
本课程是信息安全，网络工程专业选修的一门专业基础课。
通过课程学习，使学生能够
较深刻地理解信息的表征、存储和传输的基本理论，初步掌握提高信息传输系统可靠性、有
效性、保密性和认证性的一般方法，为后续专业课学习打下坚实的理论基础。
本课程的教学目标：
本课程对学生达到如下毕业要求有贡献：
1.能够将数学、自然科学、工程基础和专业知识用于解决复杂工程问题。
2.能够应用数学、自然科学和工程科学的基本原理，识别、表达，并通过文献研究分
析复杂工程问题，以获得有效结论。
完成课程后，学生将具备以下能力：
1.能够针对一个复杂系统或者过程选择一种数学模型，并达到适当的精度。
2.能够应用数学、自然科学和工程科学的基本原理分析、识别、表达、处理及扩展信
息安全、网络工程专业的复杂问题。
本课程的性质：
本课程是一门理论性较强的专业基础课程，在实施过程中以理论为主，共32学时。
二、课程具体内容及基本要求
（一）绪论（2学时）
1.基本要求
（1）掌握消息、信息和信号；噪声和干扰的基本概念
（2）掌握通信系统模型
（3）明确Shannon信息论要解决的中心问题
2.重点与难点
（1）重点：掌握通信系统模型的构成及其相应功能
（2）难点：理解Shannon信息论要解决的中心问题
3.作业及课外学习要求
（1）阅读IEEE IT 1998年信息论50年专刊
（2）数字化革命进展-纪念shannon信息论诞生50周年
http://202.117.112.49/xxl2/dzjiaoan/95shannon50y.ppt
（3）信息论与通信、密码、信息隐藏（一）
http://202.117.112.49/xxl2/dzjiaoan/信息论与通信、密码、信息隐藏（一）.ppt （4）信息论与通信、密码、信息隐藏（二）
http://202.117.112.49/xxl2/dzjiaoan/信息论与通信、密码、信息隐藏（二）.ppt （5）清华大学朱雪龙“从通信与信号处理观点看信息论研究与应用中的若干问题”
http://202.117.112.49/xxl2/dzjiaoan/sponit.mht
（二）信息量和熵（8学时）
1.基本要求
（1）掌握离散随机变量的熵、平均互信息的基本概念及其性质
（2）掌握平均互信息的凸性
（3）理解信息处理定理
2.重点与难点
（1）重点：对信息量进行定量描述
（2）难点：熵和平均互信息的物理含义及其性质，如何应用熵和平均互信息的基本概念解决实际问题
3.作业及课外学习要求
熵、平均互信息的计算、信息处理定理等应用
（三）离散信源无失真编码（8学时）
1.基本要求
（1）掌握离散无记忆源等长编码、不等长编码基本概念
（2）掌握离散无记忆信源无失真编码定理
（3）掌握Huffman编码
（4）理解算术编码和LZ编码基本原理
2.重点与难点
（1）重点：掌握离散无记忆信源无失真编码定理
（2）难点：典型序列的概念及其性质、最佳不等长编码
3.作业及课外学习要求
离散无记忆信源无失真编码定理、无失真信源编码方法
（四）信道容量（6学时）
1.基本要求
（1）掌握信道容量的基本概念
（2）掌握离散无记忆信道、组合信道的信道容量计算
2.重点与难点
（1）重点：掌握信道容量的基本概念及一些特殊信道的容量计算
（2）难点：信道的描述方法及信道容量的计算
3.作业及课外学习要求
信道容量的计算
（五）离散信道编码定理（4学时）
1.基本要求
（1）掌握三种译码准则：最小错误概率译码、最大后验概率译码和最大似然译码（2）了解联合典型序列基本概念
（3）理解离散信道编码定理
2.重点与难点
（1）重点：最大后验概率译码与最大似然译码和离散信道编码定理
（2）难点：离散信道编码定理
3.作业及课外学习要求
译码准则的应用、离散信道编码定理的应用
（六）信息论在信息安全中的应用（4学时）
1.基本要求
（1）了解保密系统模型
（2）理解保密、认证的信息理论
2.重点与难点
（1）重点：完善保密性
（2）难点：保密的信息理论
3.作业及课外学习要求
信息论在信息安全中的应用
三、教学安排及方式
四、本课程对培养学生能力和素质的贡献点
信息论是一门运用概率论与数理统计的方法研究通信系统有效性、可靠性、保密性和认证性等问题的基础课程，也是信息与通信工程、计算机科学与技术、网络空间安全等学科的一门专业基础课程，对毕业要求各指标点的达成主要贡献如下：
五、考核及成绩评定方式
理论课最终成绩由平时成绩和期末考试成绩组成。
最终成绩各部分所占比例如下：平时成绩：20%。
平时成绩包括课外作业和随堂测验，主要考核对每堂课知识点的复习、理解和掌握程度。
期末考试成绩：80%。
主要考核信息论基础知识的掌握程度。
书面考试形式，题型为判
断题、问答题和计算题等。
六、教材及参考书目
推荐教材：
《信息论与编码理论》，王育民、李晖编，高等教育出版社
参考书：
[1] 王新梅、肖国镇编，《纠错码——原理与方法》，西安电子科技大学出版社，2001.
[2] Cover, T. M, Elements of Information Theory, Beijing: Tsinghua University Press, 2003.11.
[3] Robert J. McEliece, The Theory of Information and Coding, 2nd Edition. Cambridge: Cambridge University Press, 2002.
七、说明
（一）与相关课程的分工衔接
本课程需要概率论与数理统计课程学过以后开设。
其后续课程是专业课，如无线通信、移动通信、密码学、机器学习等。
（二）其他说明
1.每位任课教师必须在规定时间内完成以上教学内容，必须透彻掌握本课程的全部内
容，并熟练运算有关的习题，必须研究教学法，突出重点，狠抓概念，启发思维，鼓励创新，倾听学生意见，及时调整自己的教学工作。
2.课后作业是学生巩固概念、掌握方法的一个重要环节。
一般课内外时间比为1:2。
本大纲适用于网络与信息安全学院。