网络热词 > 马尔可夫过程

马尔可夫过程

马尔可夫过程(Markov process)是一类随机过程。它的原始模型马尔可夫链,由俄国数学家A.A.马尔可夫于1907年提出。该过程具有如下特性:在已知目前状态 (现在)的条件下,它未来的演变 (将来)不依赖于它以往的演变 ( 过去 ) 。 例如森林中动物头数的变化构成--马尔可夫过程 。在现实世界中,有很多过程都是马尔可夫过程,如液体中微粒所作的布朗运动、传染病受感染的人数、车站的候车人数等,都可视为马尔可夫过程。关于该过程的研究,1931年A.H.柯尔莫哥洛夫在《概率论的解析方法》一文中首先将微分方程等分析的方法用于这类过程,奠定了马尔可夫过程的理论基础。

在马尔可夫性的定义中,"现在"是指固定的时刻,但实际问题中常需把马尔可夫性中的"现在"这个时刻概念推广为停时(见随机过程)。例如考察从圆心出发的平面上的布朗运动,如果要研究首次到达圆周的时刻 τ以前的事件和以后的事件的条件独立性,这里τ为停时,并且认为τ是"现在"。如果把"现在"推广为停时情形的"现在",在已知"现在"的条件下,"将来"与"过去"无关,这种特性就叫强马尔可夫性。具有这种性质的马尔可夫过程叫强马尔可夫过程。在相当一段时间内,不少人认为马尔可夫过程必然是强马尔可夫过程。首次提出对强马尔可夫性需要严格证明的是J.L.杜布。直到1956年,才有人找到马尔可夫过程不是强马尔可夫过程的例子。马尔可夫过程理论的进一步发展表明,强马尔可夫过程才是马尔可夫过程真正研究的对象。

1951年前后,伊藤清建立的随机微分方程的理论,为马尔可夫过程的研究开辟了新的道路。1954年前后,W.费勒将半群方法引入马尔可夫过程的研究。流形上的马尔可夫过程、马尔可夫向量场等都是正待深入研究的领域。

类重要的随机过程,它的原始模型马尔可夫链,由俄国数学家Α.Α.马尔可夫于1907年提出。人们在实际中常遇到具有下述特性的随机过程:在已知它所处的状态的条件下,它未来的演变不依赖于它以往的演变。这种已知"现在"的条件下,"将来"与"过去"独立的特性称为马尔可夫性,具有这种性质的随机过程叫做马尔可夫过程。荷花池中一只青蛙的跳跃是马尔可夫过程的一个形象化的例子。青蛙依照它瞬间或起的念头从一片荷叶上跳到另一片荷叶上,因为青蛙是没有记忆的,当所处的位置已知时,它下一步跳往何处和它以往走过的路径无关。如果将荷叶编号并用X0,X1,X2,…分别表示青蛙最初处的荷叶号码及第一次、第二次、……跳跃后所处的荷叶号码,那么{Xn,n≥0} 就是马尔可夫过程。液体中微粒所作的布朗运动,传染病受感染的人数,原子核中一自由电子在电子层中的跳跃,人口增长过程等等都可视为马尔可夫过程。还有些过程(例如某些遗传过程)在一定条件下可以用马尔可夫过程来近似。

关于马尔可夫过程的理论研究,1931年Α.Η.柯尔莫哥洛夫发表了《概率论的解析方法》,首先将微分方程等分析方法用于这类过程,奠定了它的理论基础。1951年前后,伊藤清在P.莱维和C.H.伯恩斯坦等人工作的基础上,建立了随机微分方程的理论,为研究马尔可夫过程开辟了新的道路。1954年前后,W.弗勒将泛函分析中的半群方法引入马尔可夫过程的研究中,Ε.Б.登金(又译邓肯)等并赋予它概率意义(如特征算子等)。50年代初,角谷静夫和J.L.杜布等发现了布朗运动与偏微分方程论中狄利克雷问题的关系,后来G.A.亨特研究了相当一般的马尔可夫过程(亨特过程)与位势的关系。流形上的马尔可夫过程、马尔可夫场等都是正待深入研究的领域。

历史上,扩散过程起源于对物理学中扩散现象的研究。虽然现在扩散过程的最一般的定义是轨道连续的马尔可夫过程,但在1931年柯尔莫哥洛夫对于扩散过程的奠基性研究中,却是按照转移函数来定义扩散过程的。直线上的马尔可夫过程,它有转移函数P(s,x,t,A),如果对任意ε>0,

(4)

(5)

(6)

而且上述极限关于x是一致的,则称此过程为一维扩散过程。粗略地说,这些条件刻画了:在很短时间Δt内,位移也是很小的,对指定的正数ε>0,位移超过ε的概率和时间Δt相比可以忽略不计;在偏离不超过 ε的范围内看,平均偏离与Δt成正比,平均方差也与 Δt成正比。称(5)中的α(t,x)为偏移系数,它反映偏离的大小;称(6)中的b(t,x)为扩散系数,它反映扩散的程度。

设转移函数具有密度函数p(s,x,t,y),则在适当的附加条件下,p(s,x,t,y)满足方程

(7)

(8)

(7)和(8)分别称为柯尔莫哥洛夫向前方程和向后方程,也称为福克尔-普朗克方程。如果转移函数是齐次的,则α(s,x)=α(x),b(s,x)=b(x)与s无关,且p(t,x,y)满足

(9)

(10)

α和b的某些假定下,可以求上述方程的转移密度解p,从而可以决定一个马尔可夫过程。然而,方程的转移密度解即使存在也未必唯一,因此还要对方程的解附加某些边界条件,以保持解的唯一性。例如,当α(t,x)=0,b(t,x)=2D (常数D>0)时的向前方程,附加边界条件=0的解是

这是称之为维纳-爱因斯坦过程的扩散过程的转移密度函数。又例如,当α(t,x)=-βx(β >0),b(t,x)=2D >0时的向前方程附加与上例同样的边界条件的解,是称之为奥恩斯坦-乌伦贝克过程的扩散过程的转移密度函数。

50年代,费勒引进了推广的二阶微分算子,用半群方法解析地研究了状态空间E =【r1,r2】的扩散过程,解决了在r1和r2 处应附加哪些边界条件,才能使向后方程(10)有一个且只有一个转移密度函数解的问题,而且找出了全部这样的边界条件。对于 E是开区间或半开半闭区间的情形也作了研究。登金、H.P.麦基恩及伊藤清等人对于扩散过程轨道的研究,阐明了费勒的结果的概率意义,从而使一维扩散过程有了较完整的理论。

多维扩散过程是和一个椭圆型偏微分算子联系在一起的,它还有许多未解决的问题,但核心问题之一是多维扩散过程的存在性和唯一性问题;借助于偏微分方程和概率论方法已经得到一些结果。有趣的是,概率论得到的结果反过来也可以解决微分方程的求解问题,例如,可以把方程的解用一个马尔可夫过程表现出来。

人们越来越重视从轨道变化的角度来研究扩散过程。常用的方法是随机微分方程和鞅问题的求解。流形上的扩散过程理论日益受人们重视的新领域,它是用随机微分方程研究扩散过程的必然延伸。

马尔可夫过程与位势理论 在空间中给定一个向量场,如果存在一个函数u使得它的负梯度就是给定的向量场,这个函数就是位势。高斯在研究电荷分布时提出了古典位势理论。例如,在空间R3的某物体S 中给定了一个电荷分布μ,那么空间点x处的电位势为

(11)

一般地,对于空间R3中的测度μ(通常假定具有支撑S ),

(12)

称为测度μ的牛顿位势。如果不计常数因子的差别,则u可以用三维布朗运动的转移密度函数p(t,x,y)表现出来:

(13)

如果假定μ关于勒贝格测度有密度函数?,则u还可以通过三维布朗运动{X,t≥0}表现出来:

(14)

式中Ex表示对从x出发的布朗运动取数学期望。再以和位势理论紧密联系的狄利克雷问题为例,它的解也可以用布朗运动来表述。由此可见,布朗运动与古典位势之间存在着自然的对应关系。这种对应关系也存在于亨特过程和近代位势理论之间。亨特过程就是轨道右连续且拟左连续的强马尔可夫过程。所谓拟左连续,即对任何停时序列τn↑τ,在(τ<+∞)上,以概率1有

(15)

马尔可夫过程的位势理论主要有三个问题:狄利克雷问题、扫问题和平衡问题。对于布朗运动,这三个问题都得到了很好的解决。

All rights reserved Powered by 网络热词 87994.com

copyright ©right 2010-2020。
网络热词内容来自网络,如有侵犯请联系客服。zhit325@126.com