中心极限定理的创立与发展-----杨静邓明立概率论极限理论是概率论的重要组成部分,是概率论的其他分支和数理统计的重要基础。
的概率现象是由于无数的随机因素共同作用的结果---这些因素每一个都起到一点作用,但都没有起到很大的甚至决定性的作用。
而极限定理告诉我们,这类多随机因素作用的现象必然会收敛于某个正态分布的概率模型。
因此,该定理为人们用正态分布来描述和解决大量的概率问题提供了坚实的理论基础。
现实中有许多随机变量都具有上述特点,比如,大炮的射程受到多种因素影响:炮身结构,炮弹外形,炮弹几炮弹内炸药质量,瞄准的误差,风速,风向的干扰,大炮的使用年限等等,其中每种因素的微小差异对总的影响作用都不大,并且可以看作是互相独立的、互相不影响的。
每种因素都会引起一个微小的误差,而炮弹落点的误差就是这许多随机误差的总和所影响的。
由此看出,研究随机变量和的极限对于搞清楚随机现象的本质有着极其的重要价值。
在生产和生活中,有许多随机变量的取值呈现出“中间多,两头少,左右对称”的特点。
例如,一般来说我国北方男性身高在170厘米左右的居多,而高于180厘米和低于160厘米的较少。
或者在生产条件不变的情况下产品的抗压强度、长度、等许多随机变量指标也都存在这样类似的情况。
这样的随机变量所服从的分布就是所谓的“正态分布”。
许多随机变量服从正态分布。
极限理论中的中心极限定理曾是概率论的中心课题。
中心极限定理有很多形式。
凡是关于随机变量的数目无限增多时,其和的分布函数在一定的条件下收敛于正态分布函数的任何论断,都称为中心极限定理。
“中心极限定理”这一名称的来源有两种说法。
波利亚认为这个定理十分重要,在概率论中具有中心地位,所以他加上了“中心”这一名称,于1920年引入这一术语。
另一种说法是,现代法国概率论学派认为极限定理描述了分布函数中心的情况,而不是尾部的情况。
历史上有不少数学家对中心极限定理的研究做出了贡献。
中心极限定理的发展主要分为三个阶段。
创立阶段:1733-----1853年人们通常认为,法国数学家隶莫弗在1733年首次证明了,二项发布近似正态分布。
然而,当时正态发布的概念,隶莫弗并不知道自己本质上证明了“中心极限定理”。
那么,是什么促使隶莫弗研究得到这个定理呢?这要归因于1721年卡明向棣莫弗提出的一个问题:A 、B 二人在某甲赌博。
每局A 获胜的概率为p ,B 获胜的概率为q=1-p.赌N 局,以X 记A 胜局数。
约定:若X>=Np,则A 付给甲X-Np 元;若X<Np,这时N-X>Nq ,则B 付给甲(N-X)-Nq=Np-X 元。
问甲所得到的期望值是多少?棣莫弗在解答和推广这个问题的过程中,得出了一些相关结论。
1725年,卡明把棣莫弗的结果告诉了斯特林,这引起了他的兴趣,并把取得的结果通知了棣莫弗。
这促使棣莫弗在1733年得到了上述重要的结果。
以其为发端,直到1930年代初,独立随机变量和的中心极限定理的研究一直在概率论占据了中心地位。
法国数学家拉普拉斯写了很多论文,想推广棣莫弗的工作。
他意识到需要一种新的数学技巧,并在1785年成功地发明了这个技巧:特征函数的简单形式和反演公式。
拉普拉斯把他的两个主要研究方向结合起来得到了这个方法-----母函数和积分的监禁展开。
通过把母函数中的t 换成it e ,就得到了特征函数。
然而,直到1810年他才发表了特征函数与反演公示的一般理论,并证明了中心极限定理。
他之所以推迟到1810年,有一种解释是,从1786年开始,他就专注于《天体力学》的写作,这本书1805年才完成。
1810年,拉普拉斯证明了中心极限定理,先是服从均匀发布的连续随机变量的情形,接着是服从任意分布的随机变量。
拉普拉斯的证明显然对独立有界的随机变量和成立,证明过程使用了现在所谓的特征函数,或傅里叶变换,即itX Ee (t 为实数)。
在1812年,他先后考虑了对称的、离散的均匀分布,对称的连续分布,任意分布情形。
最后,拉普拉斯在他的名著《概率的分析理论》中对任意的p 证明了如下中心极限定理:due x p np np S P x u n n ⎰∞--∞→=≤--2221))1((lim π泊松完善和推广了拉普拉斯关于中心极限定理的证明。
在所有考虑的情况里,都假设随机变量是独立的。
泊松证明了服从相同分布的随机变量的情况,还推广到服从不同分布的随机变量的情况。
1824年,泊松证明了连续随机变量的中心极限定理,并给出了三个反例,其中包括服从柯西分布的随机变量和,这时中心极限定理不成立。
受当时传统的影响,泊松没有明确阐明中心极限定理成立的条件。
但是,从他的证明和例子中,可以看到,他假设每个变量的方差都是有界的,且不等于零。
其他数学家也做了这方面工作,比如贝塞尔和柯西。
拉普拉斯等人给出证明的前提假设是,和的分布是有限的,因此所有的矩都存在。
他们把结果推广到无限情形,但没有给出证明,并隐含假定了矩的存在。
以现在的观点来看,只要沿着拉普拉斯的方向继续下去,法国数学家们是可以给出中心极限定理的严格证明的,比如柯西,他知道特征函数和稳定率。
可实际上,当时被视为法国领袖概率学家贝特朗和庞加莱都能做这些研究。
虽然贝特朗和庞加莱写了许多概率计算的著作,但是两人似乎都不知道中心极限定理。
从当时环境来看,大约1870年代,概率学家还处于心理上的劣势,苦于自己的研究领域被其他数学家视为一门数学科学,他们的同行不能理解,为什么标准的数学术语还不够,为什么古老的概念被重新命名为“随机变量”和“期望”。
而且,概率书里充满了非数学的概念:骰子、赌场、甲乙等人。
另外,从下面博雷尔的一段话,也可以反观那时一些概率学家对中心极限定理的具体看法。
博雷尔是继庞加莱之后法国的领袖概率学家,他曾在1924年和1950年表达了这样的观点: 通过拉普拉斯理论获得的结果,似乎对维持它们所需的分析而作出的努力没有什么意义.....它可能能证明某些定理,但是不会有什么价值,因为,事实上人们无法证明假设是否满足。
可以说,法国数学家的大部分研究被同代人所忽略,直到20世纪才被重新发现严格证明阶段:1887---1910俄国数学家切比雪夫受到布拉什曼的影响,对概率论产生了兴趣,后来接替布尼亚可夫斯基在圣彼得堡大学讲授概率论。
1866年切比雪夫发表了《论平均数》,讨论了作为大数定律极限值的平均数问题。
1884年,他的学生马尔可夫对矩方法所涉及的切比雪夫不等式给出了证明之后,切比雪夫于1887年发表了《概率论中的两个定理》,开始对随机变量和收敛到正态分布的条件即中心极限定理进行讨论,给出一般随机变量的切比雪夫定理。
这个定理的叙述是不完全正确,而且切比雪夫用“矩法”给出的证明也不完善,他只证明了随机变量的各阶原点矩的极限是标准正态随机变量的相应的原点矩,并未进而说明随机变量的分布函数确实以标准正态分布函数为极限。
不完善之处首先被马尔可夫注意到。
马尔可夫在《关于方程0)/(22=-n x n x dx e d e的解》一文中,对切比雪夫提出的命题给出了精确的陈述与证明,文中所使用的改进后的矩方法后来被人成为“切比雪夫---马尔可夫矩方法”。
1900年前后,马尔可夫的校友李雅普诺夫引入了特征函数来考察中心极限定理,从而避免了矩方法要求高阶矩存在的苛刻条件,并为之一定理进一步精确化准备了条件。
1901年李雅普诺夫把马尔可夫定理的条件大为减弱,并证明了李雅普诺夫定理。
这个定理要求随机变量必须是独立的,但是不必有相同的分布,还要求随机变量(加绝对值)具有某阶的矩,矩的增长速度受李雅普诺夫条件的限制。
李雅普诺夫在证明中利用了特征函数。
从此之后,特征函数成为研究极限定理的强有力的工具。
多年来,马尔科夫力图在概率论在恢复矩方法的地位,最后他创造了一种“截尾术”,即在适当的区域截断随机变量使之有界,从而在不改变它们和的极限分布的前提下保证任意阶的存在。
马尔科夫的创造克服了特征函数过分依赖独立性的弱点,开辟了通向非独立随机变量研究的道路,并为强极限理论的发展提供了有力的手段。
体育李雅普诺夫关于方法论的竞争,极大地丰富了概率论的内容,对这门学科的现代化产生了深远的影响。
新的发展:1919年以后在俄罗斯数学家工作的基础上,芬兰数学家林代贝尔格把李雅普诺夫条件换成了弱一些的条件,于1922年证明了更一般的定理,即林代贝尔格定理。
林代贝尔格条件是相当一般的。
如果一族随机变量序列满足李雅普诺夫条件,则它一定满足林代贝尔格条件;但反之不成立。
以现在的眼光来看,林代贝尔格的证明是简单的。
但在当时对大多数概率论学家而言,林代贝尔格的方法显得错综复杂。
因为那时线性算子的概念还没有成为人们普遍接受的语言,所以林代贝尔格需要几页的篇幅去建立基本事实。
而现在这些可以用一句话来说,但是论证是清楚的,简单易懂的。
因此,林代贝尔格的研究很长时间以来置于人们的视野之外。
若随机变量序列是相互独立同分布的,第一个随机变量的期望和方差都存在,且方差不为0,则不难验证林代贝尔格条件满足,从而林代贝尔格定理成立。
1925年,法国数学家莱维首先指出了这一点(林代贝尔格---莱维定理)。
这个定理是林代贝尔格定理的推论,它表明,不管第一个随机变量的分布函数是怎样的,只要其期望和方差存在,则n 很大时(σμn n s n /)(-近似服从标准正态分布,从而n s 近似服从),(2σμn n N林代贝尔格条件虽然适用范围很广,似乎在林代贝尔格1922年的论文后,或者至少在莱维1925年的书出版后,这方面的研究可以看作是完成了。
然而事情并没有结束,因为所以的定理只是给出了依分布收敛到高斯分布的充分条件,这些还不是中心极限定理成立的必要条件,这一时期下来主要寻找中心极限定理的充要条件,费勒和莱维分别在1935年给出了部分答案。
前面曾经指出过,概率论在1870年代不能被数学家们看作是一门严格的数学专科。
到了1930年代,这一情况并没有太多的好转。
对于一些概率学家而言,概率是否可以作为一门严格的数学专科,这还不是那么清楚,当然对于大多数非概率学家而言更是疑虑重重。
事实上,从他们的著作中可以清楚地看到,许多概率学家对他们的研究感到不安,除非他们的问题可以用非概率的语言重新叙述。
正是这种不安使得费勒在研究中心极限定理时用的是分布函数的卷积的语言,而不是独立随机变量和,因为这种语言看起来更自然。
费勒具有杰出的经典分析背景,因此想出来极为形式化的中心极限定理。
而莱维则不同,他更多的是依赖他的直觉。
莱维是第一个深刻研究样本函数和序列的概率学家之一,却从未完全接受把测度论作为概率论的数学基础。
例如,对莱维而言,条件期望就是概率的要素之一,而不需要形式上的一般定义。
因此他给出的是相当模糊却原则上准确的定理形式,这使得人们认为他的表述含糊不清,令人费解,但掌握后就会发现其实是深刻的、给人启发的。