《马尔科夫过程》PPT课件模板

Itisapplicabletoworkreport,lectureandteaching马尔科夫过程*2021/7/26马尔可夫过程一、马尔可夫过程的概念当已知随机过程在时刻所处的状态的条件下，过程在时刻所处的状态与过程在时刻以前的状态无关，而仅与过程在所处的状态有关，则称该过程为马尔可夫过程。这种特性称为随机过程的“无后效性”或马尔可夫性。分为四类：1T和E都取连续集时，称为马尔可夫过程。2若T取连续集而E取离散集时，称为可列马尔可夫过程。3若T取离散集而E取连续集时，称为马尔可夫序列。4若T和E都取离散集时，称为马尔可夫链。状态可列的马尔可夫链称为可列马尔可夫链；状态有限的马尔可夫链称为有限马尔可夫链。马尔可夫序列一、马尔可夫序列的定义设示随机过程在为整数时刻的取样的随机序列，记为（简记为或），则可按以下方式定义马尔可夫序列。定义33：若对于任意的n，有则称此为马尔可夫序列。这一概率密度函数称为转移概率密度函数。可以推出即联合概率密度函数可由转移概率密度和起始时刻的一维概率密度来确定。二、马尔可夫序列的性质一个马尔可夫序列的子序列仍为马尔可夫序列。证：对于马尔可夫序列设子序列则有所以子序列也是马尔可夫序列。2、一个马尔可夫序列按其相反方向组成的逆序列仍为马尔可夫序列。即对于任意的整数n和k,有证：因为同理根据条件概率定义和以上两式有所以3若，并在给定条件下，随机变量与是独立的，则有证：因为所以原结论成立。证毕4、如果条件概率密度与5、如果一个马尔可夫序列是齐次的，并且所有的随机变量具有相同的概率密度，则称该马尔可夫序列是平稳的。马尔可夫序列的转移概率满足此式就是有名的切普曼—柯尔莫哥洛夫方程（C-K方程）。无关，则称该马尔可夫序列6、对于是齐次的。三、马尔可夫链1、马尔可夫链的定义为一随机序列，其状态空间，若对于任意的，满足则称为马尔可夫链（简称马氏链）。定义：设2、马尔可夫链的转移概率及性质一步转移概率在齐次条件下，令式（1.6.9）中时，有称为一步转移概率。由所有一步转移概率构成的矩阵称为一步转移概率矩阵，简称转移概率矩阵。（1）（2）（一）（二）n步转移概率在齐次条件下，时，可得到步转移概率可构成n步转移概率矩阵由所有n步转移概率（1）（2）为了数学处理便利，通常规定3．切普曼-柯尔莫哥洛夫方程（C-K方程）对于步转移概率，有如下的切普曼-柯尔莫哥洛夫方程的离散形式若用概率矩阵表示，有当时，有同理可推出，当时，有即任意k步转移概率矩阵可由一步转移概率矩阵自乘k次来得到。例2-1在某数字通信系统中多级传输0、1两种数字信号。由于系统中存在干扰，在任一级输入0、1数字信号后，其输出不产生错误的概率为p，产生错误的概率为q=1-p，求两级传输时的概率转移矩阵。解：系统每一级的输入状态和输出状态构成一个两状态的马氏链，其一步转移概率矩阵为于是，两级传输时的概率转移矩阵等效于两步转移概率矩阵为4．初始分布与绝对分布定义设为一马氏链，其状态空间或为有限子集。令，且对任意的（1）（2）则称为该马氏链的初始分布，也称初始概率。初始概率是马氏链在初始时间时处于状态i的概率。当时，马氏链处于状态i的概率称为绝对概率或绝对分布。，均有定义36设为一马氏链，其状态空间或为有限子集。令，且对任意的（1）（2）则称为该马氏链的绝对分布，也称绝对概率。均有定理3马氏链的绝对概率由初始分布和相应的转移概率唯一确定。为一马氏链，为状态集，则对任意时马氏链处于状态的概率为即:时,绝对概率由初始概率及一步转移概率唯一确定。时，绝对概率由下式确定：即:绝对概率由初始概率及n步转移概率唯一确定。利用C-K方程，则n步转移矩阵可由一步转移矩阵唯一确定。证：设当由马氏链的转移概率和初始分布，不仅可以完全确定其绝对分布，也可以完全确定其有限维分布。5、马尔科夫链的有限维分布四、马尔科夫链中的状态分类可达与相通定义（可达定义）：如果对于状态与，总存在某个使得，则称自i状态经过n步可以到达j状态，并记为反之，若对所有的有，则称自i状态不可以到达j状态，并记为可达具有传递性，即若,,则定义（相通或互达定义）：若自状态i可达状态j，同时自状态j也可达状态i，则称状态i和状态j相通，记为相通具有以下等价关系：（1）,自返性（2）若，则，对称性（3）若，，则，传递性例2设一两状态的马氏链具有以下转移概率矩阵解：要讨论这一马氏链两个状态的到达性，可先求出它的n步转移概率矩阵。由于对于所有的n,，故状态“1”不能到达状态“0”；而存在n，使得，故状态“0”可以到达状态“1”。讨论其状态的可达性。2．状态的分类定义1设为一马氏链，对任一状态i与j，称为自状态i出发首次进入状态j的时刻，或称为自i到j的首达时间。是一随机变量。定义2(首达概率)设为一马氏链，对任一状态i与j，称为自状态i出发经过n步首次到达状态j的概率。显然有从而定义3设为一马氏链，对任一状态i与j，称为自状态i出发迟早要到达状态j的概率。显然有定理4对任何状态，有证明：因为定义4如果，则称状态j是常返的。如果，则称状态j是非常返的（或称为瞬时的）。如果马尔可夫链的任一状态都是常返的，则称此链为常返马尔可夫链。定理5的充要条件是证明：充分性：若，则根据到达的定义，总存在某个，使所以这样，至少有一个为正（不为0），必要性：若，则由至少有一个使，故表示自状态i出发，在有限步内迟早要返回状态i的概率，是在0与1之间的一个数。所以定理6状态i为常返（）的充要条件为证明：充分性：因为有所以现已知，则上式左边极限为1，于是有状态j是常返态。令从而状态i为非常返（）时如果状态j是非常返的，则必有设i是一常返态，则从i出发可经过n步首次返回i，在的条件下的分布列为12…nP………由数学期望的定义，可得称为状态i的平均返回时间。状态的平均返回时间定义设i是常返态，如果，则称状态i是正常返态；如果，则称状态i是零常返态。定理7设j为常返状态，有周期,则如果j是常返态，则（1）j零常返当且仅当（2）j遍历当且仅当定义对于状态i，若正整数集合非空，则称该集合的最大公约数L为状态i的周期。若，则称状态i是周期的，若，则称状态i是非周期的。如果状态i是非周期且正常返的，则称状态i是遍历的。马氏状态分类图状态分类判别法：（1）i非常返（2）i零常返且且（4）i遍历且（3）i正常返引理1对任意i和j，若，则存在正数、及正整数l、m，使对任一正整数n，有、定理8若，则（1）i与j同为常返或同为非常返；（2）若i与j常返，则i与j同为正常返或同为零常返；（3）i与j或同为非周期的，或同为周期的且有相同的周期。3．遍历性与平稳分布定义45：设齐次马氏链的状态空间为E，若对一切，存在不依赖于i的极限则称马尔可夫链具有遍历性。并称为状态j的稳态概率。定理9对于一有限状态的马氏链，若存在一正整数m，使（对所有的状态）则此链是遍历性的，且是的满足条件的唯一解。对平稳分布，有=一个非周期，不可约的马氏链是常返的，它存在一个平稳分布，即，即平稳分布就是极限分布。遍历的马氏链一定具有平稳性，但平稳的马氏链不一定具有遍历性（不遍历的马氏链也可具有平稳性）。例1-23设马尔可夫链的状态空间，一步转移概率矩阵试对该链进行分类，并说明其遍历性。解：根据一步转移概率矩阵可画出如图1-12所示的状态转移图。从图中可知，①和②都是非周期的正常返状态，③、④状态都是非常返状态。由于说明存在（i=1,2,3,4）,但与i有关，所以该链不是遍历的。五、状态空间分解定义46设，若从V中任一状态出发不能到达V外的任一状态，则称V为闭集。显然，对一切和有若中仅含有单个状态，则此闭集称为吸收态。它构成了一个较小的闭集。而整个空间构成一个较大的闭集。除了整个状态空间外，没有别的闭集的马尔可夫链称为不可约的马尔可夫链。此时整个空间的所有状态皆是相通的。闭集内任一状态，不论转移多少步，都不能转移到闭集之外的状态上去，即随着时间的推移，闭集内任一状态只能在闭集内部的状态之间转移。定理10马尔可夫链的所有常返状态构成的集合是一闭集。定理11（分解定理）状态空间E必可分解为其中N是全体非常返态组成的集合，是互不相交的常返态闭集组成。而且（1）对每一确定的k,内任意两状态相通；（2）与()中的状态之间不相通；例1-25设齐次马氏链的状态空间，其一步转移概率矩阵为试对该空间进行分解。解：根据一步转移概率矩阵，可画出如图所示的状态转移图。由图可知，，而当时，，所以，可见状态1为正常返，且周期。含有状态1的常返闭集为同理，因为，，在时，，所以可见状态6为正常返，且是非周期的。含有状态6的常返闭集为状态2，6为遍历状态.由于，在时，，所以。可见状态4为非常返。故1.7泊松过程独立增量过程设有一个随机过程，如果对任意时刻，过程的增量、、是相互独立的随机变量，则称为独立增量过程，又称为可加过程。泊松过程设随机过程，，其状态只取非负整数值，若满足下列三个条件：（2）为均匀独立增量过程；（1）（3）对任意时刻，，相应的随机变量的增量服从数学期望为的泊松分布，即对于k=0,1,2,….,有其中，则称为泊松过程。一、泊松过程的一般概念泊松过程满足如下条件：（1）对于任意时刻，出现事件次数是相互独立的；（2）对于充分小的，在内出现时间一次的概率为其中是在时关于的高阶无穷小量；常数，称为过程的强度；（3）对于充分小的，在内出现事件两次及两次以上的概率为这就是说，一个随机过程如果能满足上述三个条件，则它为泊松过程。图1-14（a）给出了泊松过程的示意图。由图可见，泊松过程的每一个函数都呈阶梯形，它在每个随机点的阶跃（即：步长为“1”）。对于给定的，等于在时间间隔随机点数。如果用计数器记录各随机时刻射出的电子数目，则在时刻，计数器的指示数即为。处产生单位为“1”内的图1-14（a）泊松过程得示意图；（b）泊松增量；（c）泊松冲激序列二、泊松过程的统计量对于给定的时刻和，且，式（1.7.1）可改写成先来讨论服从泊松分布的随机变量及的数学期望，方差和相关函数等统计量。1．数学期望令，因此，均值为=2.均方值与方差令，故均方值为=而方差为=3.相关函数若，则时间间隔和因此，随机变量与的数学期望等于它们各自数学期望之积，即互不交叠（图1-15(a)），统计独立，故它们之积若，则时间间隔和相重叠（图1-15b）），因此，上式不再成立。图1-15时间位置图经过简单运算后，可得式中，就是间隔与我们可推导出泊松过程的数学期望和相关函数。交叠部分的长度。然后，运用上述结果，令，可得的数学期望为令，可得的相关函数为若随机点具有非均匀密度，我们用代替则前述结果仍然是成立的。即有，三、泊松增量由泊松过程X(t)在给定的时间间隔内的增量与之比，我们构成一个新的随机过程称它为泊松增量。为了确定Y(t)的自相关函数，需要分别考虑两种情况：若，则间隔与是不重叠的或若，则间隔与相交叠或图1-16时间位置图对于，我们也能得到与上式类似的结果。于是图1-17示出了作为的函数的图形。由图可见，这个函数是常数与面积等于的三角形之和。当时，此三角形趋近于冲击图1-17作为的函数之曲线四、泊松冲激序列阶梯性的泊松过程X(t)对时间t求导，便可得到与时间轴上的随机点相对应的冲击序列Z(t),称此离散随机过程为泊松冲激序列。其表示式为不难看出其中X(t)和Y(t)在前面都已经定义过。这样Z(t)的数学期望和相关函数可分别由式（1.7.23）和式(1.7.24)取的极限求得，即由此可见，泊松冲击序列是平稳的。五、过滤的泊松过程与散粒噪声设有一泊松冲激脉冲序列经过线形时不变滤波器，则此滤波器输出是随机过程X(t)（如图1-18所示）由图可见，图1-18过滤的泊松过程示意图式中h(t)为滤波器的冲激响应；为第i个冲激脉冲出现的时间；为在内输入到滤波器的冲激脉冲的个数，它服从泊松分布，即，式中为单位时间内的平均脉冲数。我们称满足式（1.7.29）的随机过程为过滤的泊松过程。（1.7.29）经可知，若在[0,T)内输入到滤波器的冲激脉冲数N(T)为k，则该k个冲激脉冲出现的时间均为独立同分布的随机变量，且此随机变量均匀分布在[0,T)内，即在温度限制的电子二极管中，由散粒（或散弹）效应引起的散粒（或散弹）噪声电流是过滤的泊松过程。在晶体管中有三种类型的噪声：（1）热噪声；（2）散粒噪声；（3）闪烁噪声（又称噪声，是一种低频噪声）。晶体管的散粒噪声的机理与电子管的相类似，它们皆为过滤的泊松过程。散粒噪声X(t)的统计特性1对于均匀（即为常数）的情况，可以证明X(t)是平稳的图1-19相关函数和功率谱密度曲线（a）泊松冲激序列Z(t)（b）散粒噪声X(t)2．对于非均匀的情况，即随机点密度不是常数，则X(t)的均值与自协方差函数分别为式中六、电报信号在随机密度为常数的均匀情况下，我们要研究下述泊松过程的另外两个应用实例的统计特性。1.半随机电报信号半随机电报信号为X(t)只取+1或-1的随机过程，图1-21给出了X(t)的一条样本函数曲线。若在时间间隔(0,t)内，变号时刻点的总数为偶数（或0），则；若为奇数，则。图1-21半随机电报信号X(t)的样本函数X(t)的均值为自相关函数为功率谱密度为2.随机电报信号给定一个随机变量，它以等概率取+1或-1值，即因此，我们假定上述的随机过程X(t)与随机变量A统计独立，即：对于每个t，随机变量X(t)与随机变量A是统计独立的。现在，我们构成一个新的随机过程称Y(t)为随机电报信号.Y(t)的均值和自相关函数分别为演讲结束，谢谢大家支持*2021/7/26