第一章 概率论基础知识1. 事件、概率和概率空间1.1 随机事件的运算和概率1.2 σ代数(域)和Borel 集设全集为, 为一些的子集构成的集类,若满足 ΩF ΩF 1)F ∈Ω2) 对任意F ∈A ,F ∈A3)对任意有限或至多可数的{}F ⊂n A ,F ∈n nA U则称为一个F σ代数(域)给定一个集合Ω,就可以构造一个包含它的一个σ代数。
推广:给定一个集类,可以构造一个的一个C F C ⊂σ代数。
包含C 的最小的F σ代数,称为由C 生成的σ代数,记作()C σ。
例如设R =Ω,{}R b a a b b a R A A ∈∞−∞==,),,(),(),[:任意或或或C为R 上的一个集类,()C σ中的集合称为Borel 集,()C σ称为直线上的Borel 域,记为。
)(R B1.3 Kolmogorov 概率公理化定义给定全集和其子集构成的一个Ωσ代数,若定义在上的函数满足F F )(⋅P 1) 任意,F ∈A 1)(0≤≤A P ;2) ; 1)(=ΩP 3)对任意两两不交的至多可数集{}F ⊂n A ,∑=⎟⎠⎞⎜⎝⎛nn n n A P A P )(U 称为上的概率测度,)(⋅P F ),,(P F Ω称为概率空间。
1.4 随机变量的概念定义:设为一概率空间,(P ,,F Ω))(w X X =为Ω上的一个实值函数,若对任意实数x ,,则称()F ∈−∞−),(1x X X 为()P ,,F Ω上的一个(实)随机变量。
称()()()),()),(()(1x X P x X P x X P x F −∞=−∞∈=<=−为随机变量X 的分布函数。
随机变量实质上是到()F ,Ω())(,R R B 上的一个可测映射(函数)。
记{}F B ⊂∈=−)()()(1R B B X X σ,称)(X σ为随机变量X 所生成的σ域。
推广到多维情形,随机向量是T n X X X X ),,(21L =()F ,Ω到())(,n n R R B 上的一个可测映射。
由可测映射在())(,n n R R B 上诱导出一个概率测度:X P ())()(),(1B X P B P R B X n −=∈∀B1.5 全概率公式和Bayes 公式设{为的一个分割,即}k B Ω{}k B 两两不交且。
Ω=U kk B 全概率公式:∑⋅=kk k B P B A P A P )()()(Bayes 公式:∑⋅⋅=iiik k k B P B A P B P B A P A B P )()()()()(2. 特征函数和母函数2.1 特征函数设X 为维实随机向量,称为n XjwTEe w =)(φX 的特征函数(characteristicfunction )。
性质:1) 1)0(=ϕ;2) (有界)n R w w ∈∀≤,1)(ϕ 3) (共轭对称);_______)()(w w −=ϕϕ4) (非负定)对任意给定正整数m ,任意和任意复数n m R t t t ∈L 21,m αααL 21,,0)(11≥−∑∑==m l mk k l k l t t ααϕ;5) )(w ϕ为n R 上的连续函数。
6) 有限多个独立随机变量和的特征函数等于各自特征函数的乘积; 7) 设为维随机向量,特征函数为(Tn X ξξL ,1=)n ),(1n w w L ϕ,则nn nns s t n s n s s s s n s jw w w w E ++=++∂∂∂=L L L L L 11110111),,(ϕξξ,若∞<n s n s E ξξL 11; 8) 随机变量的分布函数由其特征函数唯一决定。
Bocher 定理:n R 上的函数)(t ϕ是某个随机变量的特征函数当且仅当)(t ϕ连续非负定且1)0(=ϕ。
例如:设X 服从二项分布,,),(p n B 1;,1,0,)(=+=⎟⎟⎠⎞⎜⎜⎝⎛==−q p n k q p k n k X P kn k L 其特征函数n jw pe q w )()(+=φ设X 服从参数为λ的Poisson 分布,其特征函数[])1(exp )(−=jw e w λφ设X 服从正态分布,其特征函数),(2σµN )21exp()(22w jw w σµφ−=2.1 母函数(概率生成函数)在研究只取非负的整数值的随机变量时,以母函数来代替特征函数比较方便。
假设随机变量L ,2,1,0X 的分布为L ,2,1,0),(===k k X P p k ,其中称,10=∑∞=k kp1,)(0≤==∑∞=s s p Es s k k k Xϕ为随机变量X 的母函数(概率生成函数)(probability generating function)。
性质:1) )(,1)1(s ϕϕ=在1≤s 绝对且一致收敛; 2) )(s ϕ唯一决定随机变量X 的分布;3) 若随机变量X 的阶矩存在,则可以用母函数在l 1=s 的导数值来表示,特别有)1()1(),1(2ϕϕϕ′+′′=′=EX EX3. 收敛性和极限定理3.1 各种收敛的定义设为一随机变量序列,L L ,,,21n X X X 1)若对任意0>ε,()0lim =≥−∞→εX X P n n ,则称依概率收敛到随机变量L L ,,,21n X X X X ;2)若p n X E 存在,且0lim =−∞→pn n XX E ,则称L L ,,,21n X X X p 阶收敛到随机变量X ,特别当2=p ,称为均方收敛。
3) 若()1lim ==∞→X X P n n ,称几乎必然收敛到随机变量L L ,,,21n X X X X 。
4)若其分布函数序列满足)(x F n )()(lim x F x F n n =∞→在每一个连续点处成立,这里为)(x F )(x F X 的分布函数,则称依分布收敛到L L ,,,21n X X X X 的分布。
3.2 大数定律和中心极限定理4. 条件期望定义1:设),,(P F Ω为概率空间,B 为的一个子F σ-代数,ξ为上的随机变量且),,(P F ΩξE 存在,设η为B 可测的随机变量且满足B ∈∀=∫∫B dP dP BB,ξη称随机变量η为ξ在给定B 下(关于P )的条件期望,记为()B ξE 。
条件期望有如下的基本性质:(假设以下的式子有意义)1)()B B ∈∀=∫∫B dP dP E BB,ξξ;2) ()[]ξξE E E =B ;3) 若或F B =ξ为B 可测的随机变量,则()..,s a E ξξ=B ;4) 若..,s a c =ξ,则()..,s a c E =B ξ;5) (线性可加性)()()()..,s a bE aE b a E B B B ηξηξ+=+; 6) 若..,0s a ≥ξ,则()..,0s a E ≥B ξ;7) 若..,s a ηξ≤,则()()..,s a E E B B ηξ≤,特别()()B B ξξE E ≤。
第二章 随机过程的一般概念2.1 随机过程的基本概念和例子定义2.1.1:设(P ,,F )Ω为概率空间,T 是某参数集,若对每一个,是该概率空间上的随机变量,则称为随机过程(Stochastic Process)。
T t ∈),(w t X ),w t (X 随机过程就是定义在同一概率空间上的一族随机变量。
随机过程可以看成定义在),(w t X Ω×T 上的二元函数,固定Ω∈0w ,即对于一个特定的随机试验,称为样本路径(Sample Path),或实现(realization),这是通常所观测到的过程;另一方面,固定,是一个随机变量,按某个概率分布随机取值。
),(0w t X T t ∈0),(0w t X抽象一点:令,即∏∈=Tt T R R T R 中的元素为),(T t x X t t ∈=,为其Borel域(插乘)(T R B σ域),随机过程实质上是()F ,Ω到())(,T T R R B 上的一个可测映射,在())(,T TR RB 上诱导出一个概率测度:T P ()B X P B P R B T T T ∈=∈∀)(),(B 。
一般代表的是时间。
根据参数集T 的性质,随机过程可以分为两大类: t 1)为可数集,如T {}L ,2,1,0=T 或{}L L ,1,0,1,−=T ,称为离散参数随机过程,也称为随机序列;2)为不可数集,如T {}0≥=t t T 或{}∞<<∞−=t t T ,称为连续参数随机过程。
随机过程的取值称为过程所处的状态(State),所有状态的全体称为状态空间(State Space)。
通常以表示随机过程的状态空间。
根据状态空间的特征,一般把随机过程分为两大类:T t t X ∈),(S 1) 离散状态,即取一些离散的值; )(t X 2)连续状态,即的取值范围是连续的。
)(t X离散参数离散状态随机过程: Markov 链 连续参数离散状态随机过程: Poisson 过程 离散参数连续状态随机过程: *Markov 序列连续参数连续状态随机过程: Gauss 过程,Brown 运动例2.1.1:一醉汉在路上行走,以的概率向前迈一步,以q 的概率向后迈一步,以p r 的概率在原地不动,1=++r q p ,选定某个初始时刻,若以记它在时刻的位置,则就是直线上的随机游动(Random Walk)。
)(n X n )(n X例2.1.2:到达总机交换台的电话呼叫次数可以看成为一个Poisson 过程。
例 2.1.3:研究某一物种数量,由于环境等一些因素的影响导致物种出生和死亡的是随机变化的,若以表示在时刻时物种总数量,为生灭过程(Birth and Death Process)(满足一定假设)。
)(t X 0≥t )(t X例2.1.4:英国植物学家Brown 注意到漂浮在液面上的微小粒子不断进行无规则运动,这种运动是分子大量随机碰撞的结果,称为Brown 运动,以表示粒子在平面上的位置,则它是平面上的Brown 运动。
())(),(t Y t X2.2:有限维分布和数字特征定义2.2.1:对N n ∈∀,T t t t n ∈∀L ,,21,n 维随机向量())(),(),(21n t X t X t X L 的联合分布函数()()n n n n x t X x t X x t X P t t t x x x F <<<=)(,)(,)(,,;,,22112121L L L称为随机过程的维有限维分布。
称)(t X n (){}T t t t N n t t t x xx F n n n ∈∀∈∀L L L ,,,,,;,,212121为随机过程的有限维分布函数簇。