第六章.自相关 ppt

null第六章 自相关*第六章 自相关6.1自相关的定义及其产生原因*6.1自相关的定义及其产生原因6.1.1 自相关的定义：在时间(时间序列数据)和空间(横截面数据)数据中，按照顺序排列的观测值之间存在关系，也就是说各期的随机误差项不是随机独立的。用符号表示就是 一般来说，自相关容易产生在时间序列数据中，因此经常将变量和随机误差项的下标用符号t,t-1,t-2,…表示。null*※※※※※※※※※※※※※※※※※※※※※※※※※※※※6.1.2 自相关产生的原因*6.1.2 自相关产生的原因1、经济惯性 比如在研究企业投资规模的时候，t时刻的投资额和前一期的投资额或者前几期的投资额可能都有一定的关系，那么在建立线性回归模型时，随机干扰项之间就可能存在相关性，从而会产生自相关现象。 自相关主要产生在时间序列数据中，而大多数时间序列的一个显著特点就是惯性，许多经济变量，如国内生产总值、就业、货币供给、价格指数等前后时期总是相互关联的，因而相邻的观测值之间或多或少有一定的联系。null*2、随机干扰项本身的自相关 由于一些自然或者人为的随机干扰因素的影响，如自然灾害、政治动乱、罢工、战争等因素的影响，可能会持续若干个时期，从而容易形成随机误差项的自相关。 null* 3、模型设定不当但如果用线性模型来替代那么随机误差项 随着自变量的变化出现系统变化的趋势，相邻时刻的随机误差项就容易产生自相关现象。(1)数学模型设定不当 比如我们在非线性回归模型中介绍的产品总成本Y和产量X的回归模型为:null*(2)模型中遗漏了重要的解释变量其中那么随机误差项它也会随着时间变化呈现系统变化的趋势，容易产生自相关如某种商品的真实需求函数应该为: null*4、数据处理产生自相关我们使用的经济数据，一般都经过一定的加工，比如大家在统计学中学过指数平滑法，它是消除时间序列数据中长期趋势波动的一种修匀数据的，很多时间序列数据都采这种方法进行处理，它就容易导致随机误差项呈现系统变化模型，产生自相关问题。 6.2 自相关的影响*6.2 自相关的影响随机误差项的自相关有很多种形式，其中最常见也是最简单的一种是一阶自相关其中null* 模型中一旦出现自相关，将会产生以下影响因为此时随机误差项仍旧满足零均值假定可以证明线性：无偏性1.最小二乘估计量仍旧是线性无偏的null*2.最小二乘估计量的方差有可能增大，不再是最优估计量 3.t检验的可靠性降低*3.t检验的可靠性降低由于自相关的存在，无法正确估计参数的方差和误差，因此也影响到t检验的效果4.模型的预测误差增大模型的预测区间和随机误差项的方差有着紧密联系，随着随机误差项方差的增大，模型的预测区间也随之增大，模型的预测误差也会相应增加。6.3 自相关的检验*6.3 自相关的检验1、图示法 tt正自相关负自相关t负自相关2、解析法*2、解析法(1)杜宾－瓦尔森检验法 检验原理：用来检验自相关最有名的检验方法是由统计学家杜宾和瓦尔森(1951 年)共同提出来的，普遍称为杜宾－瓦尔森统计量。它的定义如下 杜宾－瓦尔森统计量的最大特点是以最小二乘估计为基础，但是该检验有下列适用条件：1.随机误差项一阶自相关2.回归模型中的自变量不能包含滞后的因变量就不能用杜宾－瓦尔森统计量检验null*检验步骤： 1.提出假设2.构造杜宾－瓦尔森统计量对于大样本数据null*可以证明自相关系数3.检验： 由此可见，根据样本计算出来的d值分别落在0、2、4附近某个邻域内，随机误差项会出现一阶正自相关、无自相关和一阶负自相关证明过程null*杜宾－瓦尔森根据样本容量n和解释变量的个数k，在给定的显著性水平下建立了D-W统计量的下临界值和上临界值，确定了具体用来判断的邻域范围正自相关区域无自相关区域负自相关区域正自相关区域null*例题6.1课堂练习*课堂练习1.试判断下列模型是否存在自相关:null*2.在研究劳动力在制造业中所占比率Y随时间变化趋势的过程中,得到下面两种回归方程:(2)布罗斯－戈弗雷检验*(2)布罗斯－戈弗雷检验检验原理：这种检验方法利用随机误差项构造一个辅助回归方程。对于一个普通的线性回归模型设自相关形式为(辅助回归方程)null*6.4 自相关的修正*6.4 自相关的修正自相关修正的基本原理：通过差分变换，对原始数据进行修正。自相关修正主要有三种方法。 1、广义差分法若自相关系数ρ已知，先把原模型滞后一期再同乘自相关系数ρ(1)(2)null* 因此转换后的模型可以用普通最小二乘法进行估计，而且可以得到最优线性无偏估计量2.科克兰内－奥克特法(迭代法)*2.科克兰内－奥克特法(迭代法)这种方法利用原模型中估计出来 的残差，直接利用一阶自相关方程 来估计自相关系数 ，逐步迭代，每一次迭代都能获得比前一次更好的估计值 ，直到消除原模型中的自相关(2)用普通最小二乘法估计残差的一阶自相关方程基本步骤： (1)根据样本观测值数据，用最小二乘法估计原模型，得到残差:null*得到第一次迭代的自相关系数(3)利用自相关系数对原模型进行广义差分变换，作第一次迭代估计转换后的模型 检验转换后的模型，如果不存在自相关，则停止迭代；如果仍然存在自相关，继续（2）－(3)步骤，反复迭代，直到相继的自相关系数相差很小或者迭代次数达到上限为止3.杜宾两步法*3.杜宾两步法 这种方法也是先估计自相关系数，再作差分变换，对转换后的模型进行估计，检验模型中是否以消除自相关1.将差分模型转换为因此可用普通最小二乘法估计上面的三元线性回归模型检验步骤： null*2.用自相关系数对原模型进行差分变换估计转换后的模型 因此可以用普通最小二乘法估计转换后的模型，通过这样转换也可以基本消除原模型中的自相关。当然在实际中，可以对其转换后的模型作进一步检验，确定是否消除原模型中的自相关。几种方法的比较*几种方法的比较 在大样本情形下，上述几种方法基本都能得到类似的结果，但是在小样本情形下不见得如此。在实际分析中还是使用科克兰内－奥克特迭代法较为普遍。 null*例6.2 老教材P103页某地区商品出口模型Y-出口总值 X－国内生产总值 利用已知数据估计该模型有下面结果null*(30.1200) 对例6.2中数据进行B-G检验* 对例6.2中数据进行B-G检验1、首先用普通最小二乘法估计原模型，得到残差，这和例6.1中的第一步是完全相同的； 2、从低阶的p（p=1）开始检验原模型中的自相关，直到检验结果不再显著时，确定模型中自相关的阶数null*实际分析中广义差分法中的自相关系数ρ可以用杜宾－瓦尔森统计量近似求得估计转换后的模型，得到(17.6118) 试采用广义差分法消除例6.2中模型的自相关 使用科克兰内－奥科特法修正例6.2中的模型* 使用科克兰内－奥科特法修正例6.2中的模型1.估计原回归模型，得到样本回归方程2.估计一阶自相关方程，得到3.用这个自相关系数对原模型进行差分变换，null*估计转换后的广义差分模型，有下面的结果例6.6 使用杜宾两步法消除例6.2中的自相关*例6.6 使用杜宾两步法消除例6.2中的自相关1.估计结果如下2.得到自相关系数作差分变换估计转换后的模型，有下面的结果null*null*几种修正方法结果的比较 从表中可以看出，采用这几种修正方法对原模型进行处理，转换后模型的斜率系数估计值都非常接近，而且修正后模型的杜宾－瓦尔森统计量都落在了无自相关区域。null*例6.3 计算新教材P89页例3的杜宾－瓦尔森统计量对例6.3中数据进行B-G检验*对例6.3中数据进行B-G检验从低阶的p（p=1）开始检验原模型中的自相关，直到检验结果不再显著时，确定模型中自相关的阶数 通过不断检验，发现当p>3时，辅助回归方程中二阶以后的残差都不能通过显著性检验，可以认为原模型中存在二阶自相关使用迭代法修正例6.3中的模型*使用迭代法修正例6.3中的模型由于例6.3中模型存在二阶自相关，使用迭代法迭代5次以后，样本自相关系数开始收敛，求得一阶和二阶自相关系数null*null*返回null*3.利用我国城乡居民储蓄存款(亿元)和城乡居民可支配收入(元)的数据(1989~2005)，得到下面的税收模型： (1)试判断模型中是否存在一阶自相关？如果有，是正自相关还是负自相关？ (2)若模型中存在一阶自相关，试用广义差分法消除原模型中的自相关，写出简要过程。 第七章 多重共线性第七章 多重共线性7.1 多重共线性的两种表现形式7.1 多重共线性的两种表现形式那么就说原模型中存在多重共线性。则表明原模型中存在完全多重共线性则表明原模型中存在不完全多重共线性1. 完全多重共线性1. 完全多重共线性假设为了研究某种商品的需求函数 收集到一组样本数据，观察两个自变量，它们之间实际上存在下面函数关系 也就是说两个自变量之间存在明确的线性关系，即所谓的完全共线性null因而原来的模型变为 这个模型实际上变成了一个一元线性回归模型，我们可以估计出截距系数和斜率系数 在上面的方程组中，有三个未知数，没有办法求出原回归模型中三个参数的唯一解，这就是完全多重共线性的后果2. 不完全多重共线性2. 不完全多重共线性假设现在收集到另外一组样本数据，在这个样本中，两个自变量之间没有明确的函数关系，但是它们之间的相关系数 ， 说明两个变量之间还是存在线性相关关系null在这种不完全多重共线性情况下，可以对模型使用最小二乘估计，得到下面的结果(-3.4444)(-0.7911) 参数是可以估计出来，但是这个模型存在下面两个问题:1.收入参数的斜率系数符号为负，在现实生活中我们知道随着人们收入的增加，对一般商品的需求应该也是增加的，参数符号应该为正； 2.收入参数没有通过t检验7.2 多重共线性产生的原因7.2 多重共线性产生的原因1、经济变量之间的内在联系(对横截面数据)工业生产函数中，劳动力投入量和资金投入量产品需求函数中，商品本身价格和替代品价格消费函数中，人们的收入和财产这些变量之间实际上相互联系，经常会表现出一定的相关关系2、经济变量共同变化的趋势(对时间序列数据) 这些经济变量本身之间可能没有非常密切的联系，但是它们在相同的样本期间内，有着相同变化的趋势，比如在经济繁荣的时期，人们的收入、投资、就业等经济变量都会相同的增长趋势null3、模型中引入了滞后变量 比如在消费函数中引入了上一期或者前几期收入，各期收入之间有可能是高度相关的 7.3 多重共线性的后果7.3 多重共线性的后果 多重共线性对多元线性模型的影响，可以从完全多重共线性和不完全多重共线性两个方面进行分析。(1)参数无法估计(参数无唯一解) 前面我们已经通过一个说明在完全多线性的情况下，没有办法得到参数的唯一解，实际上我们也可以从二元线性回归模型的参数估计表达式中得出同样得结论1.完全多重共线性对模型的影响null以一个二元线性回归模型的偏斜率系数为例在完全共线性情况下，若null(2)参数估计量的方差无穷大在多元线性回归模型一章中也给出了参数估计量的方差null两个自变量完全共线性时，null2.不完全多重共线性对模型的影响(1)参数估计值的方差增大 随着自变量之间的相关性增强，估计参数的方差也随之增大，从刚推导出的方差表达式中也可以看出null为此特别定义方差膨胀因子null(2)t检验的可靠性降低 模型中存在多重共线性时，估计参数的方差增大，因此其标准差也会增大，从而使得t检验值减小,一个或多个自变量可能没有办法通过参数的显著性检验，其检验的可靠性也会降低(3)难以区分每个自变量对因变量的单独影响 正是由于自变量之间的共线性，它们相互影响，因此没有办法分离出每个解释变量对因变量的影响null(4)参数估计值及其标准差对数据的微小变化都非常敏感7.4 多重共线性的检验7.4 多重共线性的检验多重共线性检验一般要实现下面几个任务1.检验多重共线性是否存在2.判断多重共线性问题的严重程度3.判断多重共线性的具体形式 多重共线性产生的原因比较复杂，在实际的检验过程中没有固定的、确定的方法，只有一些探索性的手段1.利用相关系数检验1.利用相关系数检验通过计算自变量之间的两两的相关系数，可以大体判断出模型中是否存在多重共线性以 新教材P115模型为例 经过计算，四个自变量两两的相关系数如下 从上面的相关系数矩阵中可以看出这四个自变量两两之间高度相关，因此原模型中存在多重共线性问题2.综合分析普通最小二乘估计的结果2.综合分析普通最小二乘估计的结果 如果最小二乘估计结果的拟合系数和方程总体显著统计量都比较大，而有的自变量的偏斜率系数t检验值较小，无法通过显著性检验，此时模型中可能会存在多重共线性问题仍以 新教材P115或老教材P146页的数据为例3.通过辅助回归方程进行检验3.通过辅助回归方程进行检验 这种检验方法通过建立每个自变量和其它自变量之间的辅助线性回归方程来检验模型中是否存在多重共线性，也就是建立形如 如果其中某些自变量通过参数显著性检验，就表明模型中存在多重共线性。null①不仅能检验是否模型中是否存在多重共线性，而且可以得到多重共线性的具体形式；这种检验方法具有比较显著的作用：②结合相关和偏相关分析，可以进一步断定模型中哪些自变量引起多重共线性null 例7.3对教材P146页的模型进行辅助方程检验(-3.0501) (3.5450) (-0.8013) (2.3868)(0.8944) (3.5450) (1.0732) (-1.3268)null(0.9844) (-0.8013) (1.0731) (3.3131)(3.9530) (2.3868) (-1.3268) (3.31314.通过计算方差膨胀因子和容许度来判断4.通过计算方差膨胀因子和容许度来判断 ( 1) 计算每个自变量对应的方差膨胀因子VIF来判断模型中是否存在多重共线性，一般认为如果方差膨胀因子VIF>10，那么模型中的自变量之间是高度共线性的。null (2)容许度(tolerance)是方差膨胀因子的倒数，某个自变量的容许度就是其他自变量所不能解释的这个自变量的变动程度。某个自变量的容许度数值越大，其他自变量对该自变量的解释程度越小，那么这个自变量和其他自变量的共线性程度越小；反之则表明这个自变量和其他自变量的共线性程度越大。null 通过计算可以看出每一个辅助回归方程中的方差膨胀因子都大于10，容许度都比较小，因此原模型中存在比较严重的共线性问题例7.4 利用例7.3中的辅助回归方差来计算VIF和Tol方差膨胀因子的有关说明方差膨胀因子的有关说明 使用方差膨胀因子来度量模型中的共线性仅仅是一种经验方法，它的使用也受到一些批评。一个较高的方差膨胀因子既不是导致参数估计值较大的标准误差的必要条件也不是充分条件，也就是说一个较高的VIF度量出来的较高的多重共线性不一定会导致参数估计值较高的标准误差。null 对比模型中每个自变量的方差膨胀因子和参数显著性检验的结果，可以发现第二个自变量的方差膨胀因子是最小的，但偏偏是它没有通过参数的显著性检验，第一个自变量和第四个自变量的方差膨胀因子都是非常大的，但是它们反而都通过了参数的显著性检验比较例7.3中的VIF和t统计量课堂练习题课堂练习题 某商品的需求函数为 其中Y为需求量,X1为商品价格,X2为收入,现已知两个自变量之间的相关系数为-0.96,需求函数的回归结果为:(1)计算该模型的方差膨胀因子 (2)结合方差膨胀因子和相关的检验统计量,判断该模型是否存在多重共线性7.5 多重共线性的解决方法7.5 多重共线性的解决方法在处理多重共线性问题之前，必须明确两点:⒈如果建立模型的目的仅仅是为了预测，只要模型的拟合系数较大，而且自变量之间的相关关系在短时间内不会变化，那么多重共线性的影响其实并不太重要；⒉多重共线性产生最主要的原因是多元线性回归模型中自变量之间的相关性，其根本解决方法是剔除回归模型中的若干自变量，但是这样一来又会带来其他的问题①模型的经济意义不尽合理 如生产函数中，劳动力投入和资本投入之间经常高度相关，剔除其中任何一个都不太合适null②如果剔除的变量是比较重要的，那么将影响回归模型的估计，容易使得模型产生异方差和自相关的问题； ③如果自变量剔除不当，还会使得模型设定存在偏差，造成参数估计严重偏误 为了解决多重共线性的问题，我们应该慎重考虑，根据自变量的特点，分别采用直接剔除法和间接剔除法来对多重共线性进行补救1.直接剔除次要或者可以替代的变量1.直接剔除次要或者可以替代的变量 如果模型中有些自变量可能是没有显著影响的，或者它们的影响可以用其他变量来代替，那么可以直接剔除 null2.间接剔除重要的解释变量 (1)利用已知或者附加的信息 前面我们讲到，在柯布－道格拉斯生产函数中，劳动力投入L和资本投入K之间常常是高度相关的，如果我们事先知道劳动力投入和资本投入之间是规模报酬不变的，即α＋β＝1，则原来的生产函数可以改写为 对于模型中重要的解释变量，可以利用下面的方法将它们“间接剔除”：nullnull(2)改变模型的形式对原来的模型进行适当的改变有时也可以消除或者减少模型中自变量之间的相关程度： 1)改变模型的函数形式，将线性回归模型转为为对数模型或者多项式模型等； 2)改变自变量的形式，使用差分变量、相对数变量； 3)改变变量的统计指标，比如在生产函数中，劳动力投入使用职工工资指标，资本投入采用固定资产或者流动资产指标来进行分析。null比如我们在前面提到过的商品需求函数(3)增加样本容量(3)增加样本容量多重共线性是一个样本现象，在研究同一个问题的另外一个样本中或许并不存在非常严重的多重共线性，因此增大样本容量也许能够减轻模型中大的共线性程度。但是在在实际的工作中，社会经济的数据并不是通过实验方法来获得的，要得到新增的数据并不是轻而易举的事情，也许要花费很大的代价。null(4)综合使用横截面数据和时间序列数据 比如研究汽车的需求函数，假定收集到车辆出售数量、车辆平均价格和消费者收入的有关数据，并且设定 如果价格和收入之间有高度共线性的趋势，对上面的模型进行回归将会遇到多重共线性问题。为了解决这个问题a)假设我们能够收集到横截面的数据，我们就能比较可靠地估计收入弹性，因为这些数据都产生在同一时间内，价格不至于发生很大变化null需求函数就可以写成b)再利用时间序列数据，估计价格弹性 这种方法的问题：这种方法解释起来可能有一定的问题，它 假定收入弹性的横截面估计值和从纯粹的时间序列分析中得到的 估计值完全一致。 当横截面估计在不同截面之间没有多大变化时可以考虑使用 这种方法。7.6多元回归模型中选择自变量的方法7.6多元回归模型中选择自变量的方法1、向前选择法(Forward)思路：向前选择法从一元线性回归模型开始，找出拟合系数最大的一元线性回归模型和自变量，然后再向模型中增加一个变量，找到拟合系数 或 F 值最大的二元线性回归模型；采用类似方法不停地向模型中增加自变量。当增加的自变量不能使残差平方和明显减少时，结束这一过程。null问题：这种方法不能反应引入新的自变量后模型的变化情况，某个自变量开始可能是显著的，但是引入其他自变量后也许会变得不显著了，但是没有机会将它剔除出去，只考虑引入变量，没有考虑剔除的方法是不全面的。特点：使用这种方法，变量被增加到模型中，就不容许把它从模型中剔除。2、向后排除法(Backward)2、向后排除法(Backward)思路：这种方法和向前选择法相反，它从包含所有自变量的回归模型开始，然后利用准则从模型中剔除变量，使模型的拟合系数减小最小的自变量会被从模型中剔除出去；这样每次只剔除一个变量，直到剔除的自变量使得模型的拟合系数显著减小为止。特点：使用这种方法，不容许把剔除的变量再增加到模型中。3、逐步回归法(Stepwise)3、逐步回归法(Stepwise)思路：这种方法和向前选择法有些相似，但是在每增加一个变量时，会对模型中的所有自变量进行检验，判断是否需要删除某个自变量。如果增加一个新的自变量以后，先前引入的某个自变量对模型的贡献变得不显著了，那么这个自变量将会被剔除。null特点：这种方法综合了向前选择法和向后剔除法的特点，它不停地向模型中增加自变量并考虑剔除以前引入的自变量的可能性，直到移入的自变量不能使模型中的拟合系数显著增加为止。 使用这种方法，前面步骤中被剔除的自变量随后也有可能重新进入模型。 选择合适的自变量的检验统计量选择合适的自变量的检验统计量在将一个或一个以上的自变量增加到模型中是否合适时，可以使用F统计量来确定。 它的检验依据是：在一个线性回归模型中，如果增加一个或多个自变量可以使得回归模型的残差平方和减小，那么这个或这几个自变量就可以放到模型中，反之就没有理由增加一个或多个自变量。nullForward法选择变量第一步Forward法选择变量第一步 由于x对应的一元线性回归模型拟合系数最大， forward方法第一步引入的自变量就是x第二步第二步null