青岛农业大学本科生课程论文论文题目广义信息熵的推广与应用学生专业班级信息与计算科学09级02班学生姓名（学号）（20094052）指导教师吴慧完成时间 2012年6月28日2012 年 6 月 28 日课程论文任务书学生姓名指导教师吴慧论文题目广义信息熵的推广与应用论文内容：本文先介绍了Shannon 信息熵的定义，并对其进行了一定的分析，介绍了它的一些基本性质。
其次，说明Shannon 熵的局限性，以此引出了广义信息熵。
然后对常用的Renyi 熵、Tsallis 熵进行讨论，说明它们与Shannon 熵的联系。
最后介绍了广义熵在实际生活中的应用。
资料、数据、技术水平等方面的要求：论文要符合一般学术论文的写作规范，具备学术性、科学性和一定的创造性。
文字要流畅、语言要准确、论点要清楚、论据要准确、论证要完整、严密，有独立的观点和见解。
涉及到他人的观点、统计数据或计算公式等要标明出处，结论要写的概括简短。
发出任务书日期 2012-6-5 完成论文日期 2012-6-19 教研室意见（签字）院长意见（签字）广义信息熵的推广与应用信息与计算科学指导教师吴慧摘要：本文先介绍了Shannon 熵，由Shannon 熵推广到一般的广义信息熵，使其适用范围更广。
然后在Shannon 熵的基础上介绍了两种最常用的广义信息熵：Renyi 熵和Tsallis 熵，说明了这两种广义信息熵的简单性质，以及与Shannon 熵的联系和性质上的差异。
最后介绍了广义熵在实际生活中的应用。
关键词：Shannon 熵；广义信息熵；应用The promotion and application of the generalized informationentropyStudent majoring in Information and Computing Science ZhuMengTutor WuHuiAbstract：At the beginning of this article it introduced the Shannon entropy.Then, it described the two most commonly used generalized information entropy: Renyi entropy and Tsallis entropy on the basis of the Shannon entropy.What is more,this article not only described the simple nature of the generalized information entropy but also described their contact with the Shannon entropy as well as the different nature between them.Finally, it introduced the application of the generalized entropy in real life.Keywords: Shannon entropy; generalized information entropy; application引言：熵是信息论中的一个重要概念，对它的研究有十分重要的意义。
进入20世纪中叶，人们发现熵还可以用来描述信息，这就是信息熵。
1948年，在贝尔电报电话公司工作的应用数学家Shannon （香农，声农）发表了《通讯的数学理论》一文，成为信息论诞生的标志[1]。
目前，用得最多的熵函数是Shannon 熵。
Shannon 熵的概念的提出对通信技术的发展具有深远的影响，但是它的应用仅限于通信等一些很局限的领域而且香农熵的概念在连续随机变量下失去意义。
为了弥补Shannon 熵的缺陷，统计学家对熵的定义作了很多推广，形成了广义信息熵。
其中重要的是A.N.Kolmogorov 在1958年引入的ε熵。
ε熵不但解决了连续随机变量下香农熵定义推广时的困难，而且导致率失真理论的建立。
此外，A.Renyi 在1961年时认为香农熵只是在编码问题中才是唯一可取的形式，在其他情况下其他信息度量同样可用甚至更好。
Renyi 具体提出所谓的α阶熵，香农熵可以看成是α阶熵的一种极限形式因而被包括在α阶熵的概念之内。
自Renyi 后J.Havrda 在1967年提出β熵，S.Arimoto 在1971年提出γ熵，S.Guiasu 提出了加权熵，B.D.Sharma 和D.P.Mittal 于1975年提出α阶β次熵，C.Ferreri 于1980年引入次熵[2]。
这些熵在模糊集理论中有着重要的应用。
本文从Shannon 熵出发，讨论了主要讨论了Renyi 熵和Tsallis 熵这两种广义信息熵的性质及其应用。
1 Shannon 熵及其性质信息论所关心的是随机变量的不确定性。
显然，随机变量的不确定程度越高，我们从实验中可能获取的信息也就越多。
我们知道随机变量的不确定性与其概率分布有关，直观看来，随机变量的不确定程度并不一样。
如随机变量X ，Y ，Z ，T 的概率分布分别为：⎪⎪⎭⎫ ⎝⎛98.002.021a a ，⎪⎪⎭⎫ ⎝⎛6.04.021b b ，⎪⎪⎭⎫ ⎝⎛5.05.021c c ，P(T = a) = 1显然在这几个分布中，不确定性从小到大依次为：T ，X ，Y ，Z 。
对随机变量T ，它是一个常量型随机变量，不确定性为零，相应的概率分布称为退化分布。
Z 的不确定性最大，它服从等概率分布。
那么，若W ～⎪⎪⎭⎫ ⎝⎛414141414321w w w w ，则随机变量W 的不确定性比Z 还要高。
也就是说，X ～⎪⎪⎭⎫ ⎝⎛M M x x M 1...1...1，即随机变量X 服从等概率分布时的不确定性最大，且当M 增大时，不确定性也会增大。
由上述可知，随机变量的不确定性应该是它的概率分布的一个函数，记之为H （X ）=H （P ）=H （r 1，r 2，…，r M ）。
这三种表示方法是等价的，其中P 是X 的概率分布。
Shannon 指出，这样的函数是存在的，并且应该满足以下性质：① 对称性：当概率空间中 P(x 1 ), ) P(x 2 )… 序任意互换时，熵函数的值不变；② 确定性：信源的输出虽有不同形态，但是如果其中只有一个状态是必然的，即其他状态不可能出现，那么这个信源是一个确知信源，其熵为0； ③ 非负性：H （X ）≥0；④ 连续性：即H （r 1，r 2，…，r M ） 是P （r 1，r 2，…，r M ）的非负连续函数；⑤ 可加性：当随机变量的取值不是通过一次试验而是通过若干次试验最后才得到的，随机变量在各次试验中的不确定性应该可加，且其和始终与通过一次试验取得的结果的不确定性相同；⑥ 递增性：等概率分布时为变量的单调递增函数；⑦ 极值性：离散无记忆信源输出q 个不同的信息符号，当且仅当各个符号出现概率相等时，信息熵最大，即：H （p 1, p 2,…,p q ）≤H （qq q 1,...,1,1）=logq [3]。
事实上，上面的七个性质是非常容易理解的，不确定性当然不能是负值，前面也已经讨论了等概率分布时的不确定性随着随机变量取值个数的增加而增大，各个不确定结果应该可以相加。
可以证明出当H （X ）=H （P ）=H （r 1，r 2，…，r M ）满足上述条件时，可唯一确定其形式：H （r 1，r 2，…，r M ）=∑=M1i i log r -i c r 。
上面定义的就是Shannon 熵。
其c 决定了熵的单位，当c = 2,e ，3，10时，单位分别为“比特”，“奈特”，“铁特”，“笛特”。
一般我们都选择c = 2，也就是比特(bit)为信息的度量单位。
信息熵的定义使随机变量的不确定性得到了量度，使信息论得到了空前的发展。
而且，信息熵具有的凸函数性质使得它特别适合作为优化问题中的目标函数，这同时也为信息论概念和方法在除通信领域以外的其他领域内的应用提供了理论基础，拓宽了信息论的应用范围。
2 广义信息熵由于香农熵的概念在连续随机变量下失去意义，并不能解决实际生活中的一些问题，因此为了解决具体问题，人们也提出了各种各样的广义熵。
其中最重要的是1962 年Renyi 提出的Renyi 熵，在统计检验和图像处理中得到极大应用；1988 年，Tsallis 在Boltzmann-Gibbs(B-G)统计中引入了Tsallis 熵的数学表达式，T q =)1(1k ⎰-Ω-d qq ρ，其中k 为Boltzmann 常数，ρ是概率分布，满足∫ρd Ω = 1，q 是非负参数，且⎰=Ω-=→s q q H d k T ρρln lim 1，应用到统计力学，衍生出Tsallis 统计。
Tsallis 熵是建立在非广延动力学基础上的，引入了非广延系数q ，把熵的方法推广到不具有可加性（子系统间影响显著）的系统中。
Tsallis 熵是一种新的信息度量方法，是Shannon 熵的扩展，已经应用于图像处理和其他信息处理技术中。
下面介绍两种广义信息熵及其与Shannon 熵的联系与对比。
1、Renyi 熵对任意概率分布P （r 1，r 2，…，r M ），参数为q 的Renyi 熵定义为[4]H R (r)=)ln(-111∑=M i q i r q 2、Tsallis 熵对任意概率分布P （r 1，r 2，…，r M ），参数为q 的Tsallis 熵定义为H T (r)=)1(-111∑=-M i q i r q 3、Renyi 熵、Tsallis 熵、Shannon 熵的联系当参数q →1时，Renyi 熵与Tsallis 熵都等同于Shannon 熵，比如s i Mi i i M i q i M i q i q M i q i q M i q i q H r r r r r dq d r dq d r q =-=-=-=∑∑∑∑∑===-→=-→=-→ln ln 1lim )11(ln lim )ln(-11lim 11101101101 这里用到了∑=Mi i r 1=1及洛彼达法则[5]。
当参数q ≠ 1时，Renyi 熵与Tsallis 熵有如下关系：H R =))1(1ln(-11T H q q -+ 4、三种熵的性质对比对于Renyi 熵来说，它具备Shannon 熵的七个基本性质。
但是，对于Tsallis 熵则不满足独立可加性，它是最具有代表性的一种非广延熵。
也就是说Tsallis 熵与Shannon 熵最显著的区别在于可加性。