随机过程(七）－马氏链

第四章 Markov过程 主要内容 · 离散时间Markov链 · 转移概率 · 平稳分布 · 状态分类 · 极限定理 · 连续时间Markov链 · Kolomogrov微分方程 · 连续时间马氏过程 第1节 离散时间Markov链 一、Markov链的定义 · 直观含义：要确定过程将来的状态，只需知道过程现在的状态就足够了，并不需要知道过程以往的状态。 · 定义：随机过程 称为马氏链（Markov链），若它只取有限或可列个值E0, E1,E2,…，且对任意的n≥0及状态 有 用条件概率的语言来说 注： 1、E0, E1,E2,…称为Markov链的状态，通常用0，1，2，…来标记E0, E1,E2,…。{0，1，2，…}称为过程的状态空间，记为S。 2、若Markov链的状态是有限的，则称为有限链，否则称为无限链。 2、条件概率 ，n＝1，2，……称为Markov链的一步转移概率。 3、若转移概率 只与状态 有关，而与时间n无关，则称该Markov链是时齐Markov链，并记 ，否则称Markov链是非时齐的。矩阵 称为转移矩阵。 4、 称为k步转移概率， 称为k步转移矩阵。当n＝1时， ， 。此外规定 二、转移矩阵的性质 1. ； 2. 3. C－K方程： ， 用矩阵可以表示为 4. 5. 3的证明： 4的证明： 由3知 四、Markov链的例子 例1（随机游动）假设一个球在全直线上做无限制的随机游动，它每次以概率p向左移动一步，以概率1－p向右移动一步，因此它的状态空间为 ，请写出它的转移矩阵。 例2 假设有一蚂蚁在下面的图上爬行，当两个结点相临时，蚂蚁将爬向图临近一点，并且爬向任何一个邻居的概率是相同的，请写出它的转移矩阵。 2 1 5 3 6 4 例3 设当日有雨，则第二天有雨的概率为0.7，当日无雨第二天有雨的概率为0.5。已知今天没有雨，求四天后有雨的概率。 解： 假设0表示有雨，1表示没有雨，则转移矩阵可以写为 因此 已知今天没雨，四天后没有雨的概率是? 三、Markov链的分布 1、 一维分布 假设初始分布 已知，记 为Xt的分布，则 从而 或者 2、 有限维分布 利用条件期望的性质，可以得到 证明 练习：请同学们写出任意有限维分布的表达式 ＝ 注： （1）一旦知道Markov链的初始分布 和条件概率 ，n＝1，2，…… Markov链的分布性质完全就可以决定。 （2）若 ，即 ，则称Markov链是始于i的Markov链，它的分布记为Pi，即 （3）*由（2）可得到Markov链的等价定义 即 3、平稳分布 定义：若Markov链的一维分布族{ }满足 则称Markov链是平稳Markov链。 注： （1）注意到 ，因此若 满足 （*） 则Markov链是平稳Markov链，此时 练习：请证明平稳Markov链是强平稳过程。 定义：对于Markov链，概率分布 称为是不变（或平稳）的，如果 ， 用矩阵表示为 。 可见，当Markov链的初始分布 是不变（或平稳）分布时，Markov链都是平稳Markov链。 思考：已知Markov链的转移矩阵P，如何求解不变分布 ？ 方法一：解线性方程 , 。 方法二：由于 ，或 ，则 因此， 是 的特征向量（特征根等于1），且 。 注意： （1）由于P是随机矩阵，满足 ，因此P至少有一个特征根为1。 （2）由于1有可能是P的多重特征根，因此，平稳分布不一定唯一。 例：假设Markov链的转移矩阵 求该Markov链的不变分布。 解：由于 可以写为 的解为 和 ，因此任何满足 的分布 都是P的平稳分布，即 ， 这里状态1和3称为吸收态。 假设两个Markov链的转移矩阵分别为 （1） ；（2） ， 计算它们的平稳分布。 ： （1）解方程 解得 。 （2）解方程 得 。 5、马氏链的期望 （1） 无条件期望 根据全概率 （2） 条件期望 记Pi，i∈S表示初始状态为i时的马氏链的分布，即 Ei，i∈S表示初始状态为i时马氏链的期望，即 记 表示基于t时刻及t时刻以前信息集的条件期望，即 根据Markov性， 假设g是取值于空间S的可测函数，则根据马氏链的定义可证明 注： 1、 注意到 因此 从而有 。 2、Markov链的另一个等价定义 定理：设 是以E为状态空间的随机序列，则下列陈述等价 （1） 是Markov链； （2）任意的n≥0及状态 有 （3）对任何n，及状态 ，任何 ， 为正整数， （4）对任何n，任何 ， 为正整数，对任何取值于空间S的可测函数g， _1206767183.unknown _1221827418.unknown _1269061611.unknown _1269061977.unknown _1361599610.unknown _1361604690.unknown _1361605041.unknown _1361605188.unknown _1361604989.unknown _1361599611.unknown _1269062711.unknown _1269063205.unknown _1269062030.unknown _1269061808.unknown _1269061927.unknown _1269061674.unknown _1221832714.unknown _1269014494.unknown _1269021807.unknown _1269022440.unknown _1269022452.unknown _1269014595.unknown _1269014161.unknown _1269014356.unknown _1269013777.unknown _1221829919.unknown _1221832307.unknown _1221832609.unknown _1221832713.unknown _1221832561.unknown _1221830149.unknown _1221829658.unknown _1221829712.unknown _1221829794.unknown _1221828116.unknown _1221828146.unknown _1206771050.unknown _1206775306.unknown _1206777493.unknown _1207379654.unknown _1207380241.unknown _1221827417.unknown _1207380058.unknown _1207203846.unknown _1207204695.unknown _1207203434.unknown _1207203680.unknown _1206777267.unknown _1206777491.unknown _1206777492.unknown _1206777321.unknown _1206775312.unknown _1206771546.unknown _1206774980.unknown _1206771330.unknown _1206771478.unknown _1206771228.unknown _1206768482.unknown _1206770239.unknown _1206770662.unknown _1206770684.unknown _1206769323.unknown _1206767394.unknown _1206767875.unknown _1206767948.unknown _1206767846.unknown _1206767678.unknown _1206767795.unknown _1206767598.unknown _1206767216.unknown _1206727211.unknown _1206728287.unknown _1206766203.unknown _1206766427.unknown _1206728360.unknown _1206728241.unknown _1206728265.unknown _1206727553.unknown _1206728240.unknown _1206726380.unknown _1206726402.unknown _1206726831.unknown _1206727005.unknown _1206725666.unknown _1206724090.unknown _1206724284.unknown _1206723690.unknown