当前位置:
文档之家› 拉格朗日乘子法在信息论中的应用
拉格朗日乘子法在信息论中的应用
续发展, 就一定要有企业核心的竞争能力和优势, 这就要求企业做到知 己知彼知环境。企业有完善的情报体系 , 能为企业提供最新最准确的行 业信息 , 支持企业决策者做出正确决策。
1
1.1
软件企业竞争情报体系构建需求
新技术发展的要求 随着新技术的日益发展和技术创新的加快 , 技术产业化的速度迅速
1.3
了解竞争对手的要求 随着全球经济一体化 , 企业的经营所面临的竞争对手愈来愈多 , 竞
周 雪 飞.发 展 现 代 农 业 的 信 息 化 之 路 [ J] . 中 国 农 村 小 康 科 技 , 2007 ( 责任编辑 : 王永胜)
─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─
第一作者简介 : 刘金爱 , 女 , 1962 年 3 月生 , 1981 年毕业于莱阳农学 院 , 研究馆员 , 青岛农业大学图书馆 , 山东省青岛市城阳区 , 266109.
$
r
2.3
! [ P ( ai) ] =0 , 得 - logP ( ai) - loge- !=0 , 即 P ( ai) =2!- loge。 F ( ai) !P
r i = 1
又因为
( "P
( ai) =2!- loge= ai) =1 , 所以 "2!- loge=1 , 得 P
i = 1
1 ,H ( X) =logr 。 r
Discussion on the Constr uction of China ’ s Agr icultur al Infor matization
LIU J in-ai
ABSTRACT: This paper analyzes the functions of agricultural informatization in modern agriculture construction, and in the light of the present situation of and problems existing in China ’ s agricultural informatization development, advances some feasible countermeasures. KEY WORDS: agricultural informatization; modern agriculture; information technology
些重要应用 , 期望揭示出信息论的基本特点 , 以利于信息论的教学与学习。 关键词 : 信息论 ; 拉格朗日乘子法 ; 概率统计 中图分类号 : G201 文献标识码 : A
量, 而不确定性是与可能性相关的, 而可能性是与事件发生的概率有关 系的, 即信息量是消息发生的概率的函数, 从而从不同的角度来度量信 息有不同的概念。 ( ai) =log 定义 1 : I
发送一条具体的消息 ai 所能提供的信息量的大小。 ( X) =E [ I ( ai) ] = 定义 2 : H ( $P
i = 1
ai) log
1 ( ai) =1 。 即熵是 , 其中 , $P ( ai) P i = 1
r
信源
X
信道
Y
自信息量在概率空间的统计平均值。它是将信源视为一个总体 , 从平均 意义上说, 熵表示信源每发出一个消息包含的平均信息量的大小, 当然 也表示每收到一个消息获得的平均信息量。
其他应用 单维连续信源最大相对输出熵定理的证明以及信息率失真函数的 求解都是求条件极值的问题 , 所用方法都是朗格朗日乘子法。
解 : 作 辅 助 函 数 F [ P ( ai) ] =H [ P ( a1) , P ( a2) , … , P ( ar) ] - !
" #
i = 1
r
( ai) - 1 , 其中 ! 是引进的待定系数。 P 则:
r s
定义 3: I ( X; Y) =E [ I ( ai; bj) ] =
( $$ P
i = 1j = 1
aibj) log
( ai/bj) P , 即平均交互信 ai
息量是互信息量在联合概率空间中的统计平均植。 它是从信道的角度度量 信息的量 , 从平均意义上说 , 信道每传递一个符号所能传送的平均信息量。 通信系统概率统计模型的建立, 为信息论的研究提供了基础, 也是 信息论研究的重大突破。这在信息论的发展中是基石性的工作。
扰, 则输出信号与输入信号之间一般不是确定的函数关系, 而应是一种 统计依赖关系, 可以由信道的条件概率即信道的传递概率 P ( X/Y) 来 表 示。信道记为 :{ X, P ( X/Y) , Y} 。信源和信道的概率统计模型建立了。 根据香农的观点, 信息量在数量上等于通信前后不确定性的消除 伍 , 形成农业信息人才网络 , 为农业信息的及时有效传播提供人才支持。 参考文献 [ 1] [ 2] 王松海 . 我国农村信息化建设存在的问题 及 对 策 [ J] . 理 论 导 刊 , ( 10) : 91- 92. 2007 刘小平 . 农业信息化与农村经济 建 设 [ J] . 农 村 经 济 与 科 学 , 2005 ( 1) : 14- 15.
2
拉格朗日乘子法在信息论中的应用
拉格朗日乘子法是高等数学中用到求条件极大值的一种方法 , 而在
{ X, P ( ai) } 刻画信源 , 它描述了信源所有可能发出的消息以及发出某消息 对应的概率。信道是信号传输的通道或媒介。设信道的输入是信源的输 { P 出 X, 信道的输出可以用随机变量 Y 来 描 述 , 随 机 变 量 Y 的 分 布 设 为
1 , 即自信息量是概率倒数的对数 , 表示信源每 ( ai) P
r
1
通信系统中信息的度量方法
通信的根本问题是将信源的输出在接收端精确地或近似地重现出 来 , 而信息论是根据 通 信 系 统 模 信宿 型来描述信息的度量问题。 通信 系统包含几个基本 要 素 : 信 源 、 干扰源 图1 通信系统图 信道、 信宿、 、 干扰源等, 而信息 的度量主要是概率统 计 , 所 以 通 信系统我们可以用图 1 来表示。 信源是产生消息的来源。信源发出消息是随机的 , 可以用随机变量
{ a1, a2, … , ar} , 为信源发 来描述。设信源发出的消息为随机变量 X, 记 X= { P ( ai) , ai∈X} , 由 于 出的消息全体组成的集合, 随机变量 X 的分布设为
r
( ai) =1 则可以用 X 是一个整体 , 所以整体事件的概率之和应为 1 , 即 $P
i = 1
科技情报开发与经济 文章编号 : 1005- 6033 ( 2008) 23- 0108- 02
SCI- TECH INFORMATION DEVELOPMENT & ECONOMY
2008 年
第 18 卷
第 23 期
收稿日期 : 2008- 06- 11
拉格朗日乘子法在信息论中的应用
吴造林
( 安徽理工大学电气工程系 , 安徽淮南 , 232001) 摘 要: 介绍了通信系统中信息的度量方法, 叙述了拉格朗日乘子法在信息论中的一
1.4
各种信息超量过载 由于商业变化速度过快、 竞争对手增多和经济全球化使现在公司经
和产品市场的无限可扩展性使其成为各国竞争的焦点。一个国家软件产 业的兴衰成败 , 将影响她在 21 世纪国际竞争中的地位。软件开发行业竞 争将更加激烈 , 企业要想在激烈的市场竞争中赢取一席之地并实现可持 求解方法 : 拉格朗日乘子法。
董建忠 1, 王春荣 2
( 1. 上海电力学院 , 上海 , 200090 ; 2. 宝信软件股份有限公司 , 上海 , 201203) 摘 要 : 在对知识管理和竞争情报整合研究的基础上 , 根据软件企业的特点 , 对于软件
企业构建竞争情报体系进行了可行性分析, 提出了基于知识管理的竞争情报体系模 型 , 论述了基于知识管理的竞争情报体系的总体功能。 关键词 : 知识管理 ; 竞争情报体系 ; 软件企业 中图分类号 : F270.7 文献标识码 : A
108
科技情报开发与经济 文章编号 : 1005- 6033 ( 2008) 23- 0109- 02
SCI- TECH INFORMATION DEVELOPMENT & ECONOMY
2008 年
第 18 卷
第 23 期
收稿日期 : 2008- 06- 15
基于知识管理的软件企业竞争情报体系构建
3
结语
拉格朗日乘子法是高等数学中求条件极大值的一种方法 , 而在信息
2.2
应用 2—信道容量的一般算法 —— ( X; Y) 是先验概率 P ( ai) 和传递 概 率 P ( bj/ai) 的 函 数 , 当 给 定 信 道 即 I
论中也是发挥了淋漓尽致的作用 , 它在每一章都被应用到。拉格朗日乘 子法在高等数学中不算是一种很难的方法 , 而在信息论中确是难倒学生 的一个知识点。很好地掌握了这种方法也就对信息论掌握了一半。 参考文献 [ 1] [ 2] 周荫清 . 信息理论基础 [ M ] . 北京 : 人民邮电出版社 , 2001. 姜丹 . 信息理论与编码 [ M ] . 北京 : 中国科学技术出版社 , 2002. ( 责任编辑 : 薛培荣)
( bj/ai) 一定 , 则 I ( X; Y) 是 P ( ai) 的 n 型凸函数 , 所 以 存 在 极 大 值 , 这 个 极 P 大值就是信道容量 , 即 C=max I ( X; Y) 。当平均交互信息量为最大值时信
( ai) P
r
源称为信道的匹配信源。所以信道容量就是 I ( X; Y) 在满足约束条件 ( ai) =1 下的条件极大值。求解方法 : 拉格朗日乘子法。 P 解 : 作辅助函数 F [ P ( ai) ] =I ( X; Y) - ! 待定系数。