辛钦大数定律的证明(在第15页)

第四章 大数定律与中心极限定理 极限定理是概率论与数理统计学中最重要的理论结果。本章简单地介绍两类极限定理---“大数定律”和“中心极限定理”。 通常，把叙述在什么条件下一随机变量序列的算术平均值（按某种意义）收敛于某数的定理称为“大数定律”；把叙述在什么条件下大量的随机变量之和近似服从正态分布的定理称为“中心极限定理”。本教材只介绍极限定理的经典结果。分布函数、矩和特征函数是解决经典极限定理的主要工具。 一、 教学目的与要求 1． 掌握四个大数定律的条件、结论及数学意义； 2． 理解随机变量序列的两种收敛性的定义及其关系，了解特征函数的连续性定理； 3． 掌握独立同分布中心极限定理的条件、结论，并会用来解决一些实际问题。 二、 教学重点和难点 教学重点是讲清大数定律的条件、结论和中心极限定理的条件、结论。 教学难点是随机变量序列的两种收敛性及大数定律和中心极限定理的应用。 §4.1  大数定律 一、大数定律的意义 在第一章中引入事件与概率的概念时曾经指出，尽管随机事件A在一次试验可能出现也可能不出现，但在大量的试验中则呈现出明显的统计规律性——频率的稳定性。频率是概率的反映，随着观测次数 的增加，频率将会逐渐稳定到概率。这里说的“频率逐渐稳定于概率”实质上是频率依某种收敛意义趋于概率，这个稳定性就是“大数定律”研究的客观背景。 详细地说：设在一次观测中事件A发生的概率 ，如果观测了 次（也就是一个 重贝努里试验），A发生了 次，则A在 次观测中发生的频率为 ，当 充分大时，频率 逐渐稳定到概率 。若用随机变量的语言表述，就是：设 表示第 次观测中事件A发生次数，即 则 是 个相互独立的随机变量，显然 。 从而有 因此“ 稳定于 ”，又可表述为 次观测结果的平均值稳定于 。 现在的问题是：“稳定”的确切含义是什么？ 稳定于 是否能写成 （1） 亦即，是否对 ，                               （2） 对 重贝努里试验的所有样本点都成立？ 实际上，我们发现事实并非如此，比如在 次观测中事件A发生 次还是有可能的，此时 ，从而对 ，不论 多么大，也不可能得到 成立。也就是说，在个别场合下，事件（ ）还是有可能发生的，不过当 很大时，事件（ ）发生的可能性很小。例如，对上面的 ，有 。 显然，当 时， ，所以“ 稳定于 ”是意味着对 ，有 （3） （概率上“ 稳定于 ”还有其他提法，如博雷尔建立了 ，从而开创了另一形式的极限定理---强大数定律的研究） 沿用前面的记号，（3）式可写成 一般地，设 是随机变量序列， 为常数，如果对 ，有 （4） 即 则称 稳定于 。 概率论中，一切关于大量随机现象之平均结果稳定性的定理，统称为大数定律。 若将（4）式中的 换成常数列 ，即得大数定律的一般定义。 定义4.1：若 是随机变量序列，如果存在常数列 ， 使对 ，有 成立，则称随机变量序列 服从大数定律。 若随机变量 具有数学期望 ，则大数定律的经典形式是： 对 ，有 这里常数列 二、四个大数定律 本段介绍一组大数定律，设 是一随机变量序列，我们总假定 存在。 首先看一课后题 的 （马尔可夫大数定律） 如果随机变量序列 ，当 时，有 （*） 证明： 服从大数定律。 证明 : 对 ，由契贝晓夫不等式，有 因此 即 故 服从大数定律。                                                      ＃ 此大数定律称为马尔可夫大数定律，（*）式称为马尔可夫条件。 定理4.2（契贝晓夫大数定律）设 是一列两两不相关的随机变量，又设它们的方差有界，即存在常数 ，使有 则随机变量序列 服从大数定律，即对 ，有 证明： 因为 两两不相关，且由它们的方差有界即可得到 从而有 满足马尔可夫条件，因此由马尔可夫大数定律，有 ＃ 注：契贝晓夫大数定律是马尔可夫大数定律的特例。 例4.1 设 为独立同分布随机变量序列，均服从参数为 的普哇松分布，则由独立一定不相关，且 ，因而满足定理4.2的条件，因此有 注：此例题也可直接验证满足马尔可夫条件。 定理4.1（贝努里定理或贝努里大数定律）:设 是 重贝努里试验中事件A出现的次数，又A在每次试验中出现的概率为 ，则对 ，有 证明：令     显然 由定理条件， 独立同分布（均服从二点分布）。 且 都是常数，从而方差有界。 由契贝晓夫大数定律，有 ＃ 贝努里大数定律的数学意义：贝努里大数定律阐述了频率稳定性的含义，当 充分大时可以以接近 的概率断言， 将落在以 为中心的 内。贝努里大数定律为用频率估计概率（ ）提供了理论依据。 注1：此定理的证明也可直接验证满足马尔可夫条件。 注2：贝努里大数定律是契贝晓夫大数定律的特例。它是1713年由贝努里提出的概率极限定理中的第一个大数定律。 以上大数定律的证明是以契贝晓夫不等式为基础的，所以要求随机变量的方差存在，通过进一步研究，我们发现方差存在这个条件并不是必要条件。 定理4.3（辛钦大数定律）设 是一列独立同分布的随机变量，且数学期望存在 ,则对 ，有 成立。 此定理的证明将在§4.2随机变量序列的两种收敛性中给出。 注：贝努里大数定律是辛钦大数定律的特例。 辛钦大数定律的数学意义：辛钦大数定律为实际生活中经常采用的算术平均值法提供了理论依据。它断言：如果诸 是具有数学期望、相互独立、同分布的随机变量，则当 充分大时，算术平均值 一定以接近1的概率落在真值 的任意小的邻域内。据此，如果要测量一个物体的某指标值 ，可以独立重复地测量 次，得到一组数据： ，当 充分大时，可以确信 ，且把 作为 的近似值比一次测量作为 的近似值要精确的多，因 ， ；但 ， ，即 关于 的偏差程度是一次测量的偏差程度的 ， 越大，偏差越小。再比如要估计某地区小麦的平均亩产量，只要收割一部分有代表性的地块，计算它们的平均亩产量，这个平均亩产量就是 ，在 比较大的情形下它可以作为全地区平均亩产量，即亩产量的期望 的一个近似。这种近似或“靠近”并不是我们数学分析中的极限关系，而是§4.2中的依概率收敛。 辛钦大数定律也是数理统计学中参数估计理论的基础，通过第六章的学习，我们对它会有更深入的认识。 作业： §4.2随机变量序列的两种收敛性 一、依概率收敛 在上一节上，我们从频率的稳定性出发，得出下面的极限关系式： )=0，其中 或等价于 这与数学分析中通常的数列收敛的意义不同。在上式中以随机变量 代替常数 便得到新的收敛概念。 1、定义4.2（依概率收敛）设有一列随机变量 ，如果对 ，有 或 则称随机变量序列 依概率收敛于 ，记作 或 （ ） 从定义可见，依概率收敛就是实变函数中的依测度收敛。 由定义可知，     有了依概率收敛的概念，随机变量序列 服从大数定律的经典结果就可以表示为 特别地，贝努里大数定律可以描述为   （ 辛钦大数定律描述为   （ 例1、 设 是独立同分布的随机变量序列，且 ， 证明：    （ 证： ，由契贝晓夫不等式 = 故 即 ＃ 2、性质 1）、若 则 。 证明： ，由 则 中至少有一个成立，即 于是 即对 从而有 ＃ 这表明，若将两个以概率为1相等的随机变量看作相等时，依概率收敛的极限是唯一的。 2）、设 是两个随机变量序列， , 为常数，若 且 在点 连续，则 。 3）、若 ；  ； 是常数，且 ，则 。 2）、3）的证明方法类似于1）。 二、按分布收敛 我们知道，分布函数全面地描述了随机变量的统计规律，那么当 时，其相应的分布函数 与 之间会有什么样的关系呢？是不是对所有的 ，有 → （n→ ）成立呢？答案是否定的。 例4．2  设 都是服从退化分布的随机变量，且 于是对 ，当 时，有 所以 又 的分布函数为 的分布函数为 显然，当 时，有 但当 时， 上例表明，一个随机变量序列依概论收敛到某随机变量，相应的分布函数列不是在每一点都收敛于这个随机变量的分布函数的。但如果仔细观察一下这个例子，发现不收敛的点正是 的不连续点。要求 在每一点都收敛到 是太苛刻了，可以去掉 的不连续点来考虑。 1、 定义4.3  设 , 是一列分布函数，如果对 的每个连续点 ， 都有 成立， 则称分布函数列 弱收敛于分布函数 ，并记作 若随机变量序列 的分布函数 弱收敛于随机变量 的分布函数 ,也称 按分布收敛于 ，并记作 2、 依概率收敛与按分布收敛（弱收敛）之间的关系 定理4.4 若随机变量序列 依概率收敛于随机变量 ，即 则相对应的分布函数列 弱收敛于分布函数 ，即 定理4.4也可表示成如下形式： 证明 ：对任意的 有 从而有 即  如果 ，由  就有 所以有  同理可证，当 时，有 于是对 有 令 ，即得 显然，如果 是 的连续点，就有 ＃ 注意：这个定理的逆命题不一定成立，即不能从分布函数列的弱收敛肯定相 应的随机变量序列依概率收敛。 例4.3  抛掷一枚均匀的硬币，有两个可能的结果： =“出现正面”， =“出现反面”，则 令  因 是一个随机变量，其分布函数为 这时，若 ，则显然 与 有相同的分布函数 。再令 ， 的分布函数记作 ，故 = ，于是对任意的 ，有 所以 成立，而对任意的 ，恒有 即不可能有 成立。 但在特殊情况下，它却是成立的。 定理4.5  随机变量序列 为常数）的充要条件是 这里 的分布函数，也就是退化分布: 定理4.5也可表示成如下形式： 证明：必要性已由定理4.4给出，下面只要验证充分性。对任意的 ，有 定理4.5得证。                                                            ＃ 本章将要向大家介绍的大数定律实际上就是随机变量列依概率收敛于常数的问题，由定理4.5知，它可归结为相应的分布函数列弱收敛于一退化分布，而中心极限定理就是随机变量的分布函数列弱收敛问题，可见分布函数列的弱收敛在本章讨论中占重要地位。然而，要直接判断一个分布函数列是否弱收敛是很困难的,上一章我们就知道，分布函数与特征函数一一对应，而特征函数较之分布函数性质优良很多，故判断特征函数的收敛一般较容易，那么是否有 继续阅读