第8章　多重共线性

null第8章　多重共线性第8章　多重共线性Multicollinearity主要内容主要内容8.1　多重共线性的概念 8.2　多重共线性的后果 8.3　多重共线性的检验 8.4　克服多重共线性的方法 8.5　一、多重共线性的概念一、多重共线性的概念1、多重共线性1、多重共线性 对于模型 Yi=0+1Xi1+2Xi2++kXik+ui i=1,2,…,n (1) 其基本假设之一是解释变量间不能完全共线。 如果某两个或多个解释变量之间出现了相关性，则称为多重共线性。null 如果存在 c1Xi1+c2Xi2+…+ckXik=0 i=1,2,…,n (2.6.2) 其中: ci不全为0，即某一个解释变量可以用其它解释变量的线性组合示，则称为解释变量间存在完全共线性。 如果存在 c1Xi1+c2Xi2+…+ckXik+vi=0 i=1,2,…,n (2.6.3) 其中ci不全为0，vi为随机误差项，则称为一般共线性(近似共线性)或交互相关(intercorrelated)。 例子 例子 例如，X2=X1，这时X1与X2的相关系数为1，解释变量X2对因变量的作用完全可由X1代替。 注意： 完全共线性的情况并不多见，一般出现的是在一定程度上的共线性，即近似共线性。2、实际经济问题中的多重共线性现象2、实际经济问题中的多重共线性现象 经济变量的共同变化趋势 时间序列样本：经济繁荣时期，各基本经济变量（收入、消费、投资、价格）都趋于增长；衰退时期，又同时趋于下降。 横截面数据：生产函数中，资本投入与劳动力投入往往出现高度相关情况，大企业二者都大，小企业都小。null 滞后变量的引入 在计量经济模型中，往往需要引入滞后经济变量来反映真实的经济关系。 例如，消费=f(当期收入, 前期收入） 显然，两期收入间有较强的线性相关性。null 一般经验 对于采用时间序列数据作样本、以简单线性形式建立的计量经济学模型，往往存在多重共线性。 以截面数据作样本时，问题不那么严重，但多重共线性仍然是存在的。二（1）多重共线性的理论后果二（1）多重共线性的理论后果（1）在近似共线情形下，OLS估计量仍然是无偏的。 （2）近似共线并未破坏OLS估计量的最小方差性。 （3）即使总体回归方程中，解释变量之间不是线性相关的，但在某个样本中，解释变量之间可能相关。从这个意义上说，多重共线是一个样本（回归）现象。null二（2）、多重共线性的实际后果 1、完全共线性下参数估计量不存在 1、完全共线性下参数估计量不存在2、近似共线性下普通最小二乘法参数估计量方差与标准差变大2、近似共线性下普通最小二乘法参数估计量方差与标准差变大 在一般共线性（或称近似共线性）下，虽然可以得到OLS参数估计量，但是由参数估计量方差的表达式为null即：多重共线性使参数估计值的方差增大，方差扩大因子(Variance Inflation Factor)为1/(1-Rj2)，其增大趋势见下表：3、参数估计量经济含义不合理3、参数估计量经济含义不合理 如果模型中两个解释变量具有线性相关性，例如X1和X2，那么它们中的一个变量可以由另一个变量表征。 这时，X1和X2前的参数并不反映各自与被解释变量之间的结构关系，而是反映它们对被解释变量的共同影响。 所以各自的参数已经失去了应有的经济含义，于是经常表现出似乎反常的现象，例如本来应该是正的，结果恰是负的。4、变量的显著性检验失去意义4、变量的显著性检验失去意义存在多重共线性时参数估计值的方差与标准差变大参数的置信区间变大容易使通过样本计算的t值小于临界值， 误导作出参数为0的推断可能将重要的解释变量排除在模型之外5、模型的预测功能失效5、模型的预测功能失效 变大的方差容易使区间预测的“区间”变大，使预测失去意义。 能否说：如果存在完全共线性，预测值的置信区间为（－∞，+∞）？三、多重共线性的检验三、多重共线性的检验null 由于多重共线性表现为解释变量之间具有相关关系，所以用于多重共线性的检验方法主要是统计方法：如判定系数检验法、逐步回归检验法等。 多重共线性检验的任务是： （1）检验多重共线性是否存在； （2）估计多重共线性的范围，即判断哪些变量之间存在共线性。1、检验多重共线性是否存在1、检验多重共线性是否存在 (1)对两个解释变量的模型，采用简单相关系数法 求出X1与X2的简单相关系数r，若|r|接近1，则说明两变量存在较强的多重共线性。 (2)对多个解释变量的模型，采用综合统计检验法 若 在OLS法下，模型的R2与F值较大，但各参数估计值的t检验值较小，说明各解释变量对Y的联合线性作用显著，但各解释变量间存在共线性而使得它们对Y的独立作用不能分辨，故t检验不显著。 2、判明存在多重共线性的范围2、判明存在多重共线性的范围(1) 判定系数检验法 使模型中每一个解释变量分别以其余解释变量为解释变量进行回归计算，并计算相应的拟合优度，也称为判定系数。如果在某一种形式 Xji= 0+1X1i+2X2i+LXLi 中判定系数较大，则说明在该形式中作为被解释变量的Xj可以用其他X的线性组合代替，即Xj与其他X之间存在共线性。 等价的检验是对上述回归方程作F检验 等价的检验是对上述回归方程作F检验 式中：Rj2为第j个解释变量对其他解释变量的回归方程的决定系数， 若存在较强的共线性，则Rj2较大且接近于1，这时（1- Rj2 ）较小，从而Fj的值较大。因此，可以在给定的显著性水平下，通过计算F值的方法进行检验。null 另一等价的检验: 在模型中排除某一个解释变量Xj，估计模型，如果拟合优度与包含Xj时十分接近，则说明Xj与其它解释变量之间存在共线性。(2) 逐步回归法(2) 逐步回归法 以Y为被解释变量，逐个引入解释变量，构成回归模型，进行模型估计。 根据拟合优度的变化决定新引入的变量是否可以用其它变量的线性组合代替，而不作为独立的解释变量。 如果拟合优度变化显著，则说明新引入的变量是一个独立解释变量； 如果拟合优度变化很不显著，则说明新引入的变量不是一个独立解释变量，它可以用其它变量的线性组合代替，也就是说它与其它变量之间存在共线性关系。8.4 克服多重共线性的方法8.4 克服多重共线性的方法 1、第一类方法：排除引起共线性的变量 1、第一类方法：排除引起共线性的变量 找出引起多重共线性的解释变量，将它排除出去，是最为有效的克服多重共线性问题的方法。以逐步回归法得到最广泛的应用。 注意： 剩余解释变量参数的经济含义和数值都发生了变化。2、第二类方法：差分法2、第二类方法：差分法 对于以时间序列数据为样本、以直接线性关系为模型关系形式的计量经济学模型，将原模型变换为差分模型 Yi=1  X1i+2  X2i++k  Xki+  ui 可以有效地消除存在于原模型中的多重共线性。 一般讲，增量之间的线性关系远比总量之间的线性关系弱得多。例如：在中国消费模型中的2个变量：例如：在中国消费模型中的2个变量： 收入(Y：GDP)与消费C的总量与增量数据YC(-1)C(-1)/Y△Y△C(-1)△C(-1)/△Y1981490129760.60721982548933090.60285883330.56631983607636380.59965873290.56051984716440210.561310883830.35201985879246940.533916286730.413419861013357730.5697144110790.748819871178465420.555216517690.465819881470474510.506729209090.311319891646693600.5684176219091.083199018320105560.5762185411960.6451199121280113620.533929608060.2723199225864131460.5083458417840.3892199334501159520.4624863728060.3249199447111201820.42841261042300.3354199559405272160.45811229470340.5721199668498345290.5041909373130.8042 由表中的比值可以直观地看到，两变量增量的线性关系弱于总量之间的线性关系。 由表中的比值可以直观地看到，两变量增量的线性关系弱于总量之间的线性关系。 进一步分析： Y与C(-1)之间的判定系数为0.9845， △Y与△C(-1)之间的判定系数为0.7456。 一般认为：两个变量之间的判定系数大于0.8时，二者之间存在线性关系。 所以，原模型经检验地被认为具有多重共线性，而差分模型则可认为不具有多重共线性。3、第三类方法：减小参数估计量的方差3、第三类方法：减小参数估计量的方差 多重共线性的主要后果是参数估计量具有较大的方差，所以采取适当方法减小参数估计量的方差，虽然没有消除模型中的多重共线性，但确能消除多重共线性造成的后果。 例如，增加样本容量，可使参数估计量的方差减小。4、第四类方法：重新设定模型形式8.5　案例：服装市场需求函数8.5　案例：服装市场需求函数1、建立模型1、建立模型 根据理论和经验分析，影响居民服装类支出的主要因素有：可支配收入、居民流动资产拥有量、服装价格指数、物价总指数。 已知某地区的有关资料，根据散点图判断，建立线性服装消费支出模型： Y=0+1X+2K+3P1+4P0+u null2、样本数据null 由于R2较大且接近于1，而且 F=638.4，大于临界值：F 0.05(4,5)=15.19，故认为服装支出与上述解释变量间总体线性关系显著。 但由于参数K的估计值的t检验值较小（未能通过检验），故解释变量间存在多重共线性。3、估计模型 (1)用OLS法估计上述模型： (-1.76) (3.71) (0.30) (-2.20) (2.24)R2 =0.9980 Adj-R2 =0.9965 F=638.4（2）检验简单相关系数（2）检验简单相关系数各解释变量间存在高度相关性，其中尤其以P1，P0间的相关系数为最高。 （3）找出最简单的回归形式（3）找出最简单的回归形式可见，应选①为初始的回归模型。（4）逐步回归（4）逐步回归 将其他解释变量分别导入上述初始回归模型，寻找最佳回归方程。4、讨论：4、讨论： ①在初始模型中引入P1，模型拟合优度提高，且参数符号合理，但P1的t检验未通过； ②再引入K，拟合优度虽有提高，但K与P1的t检验未能通过，且X与P1的t检验值及F检验值有所下降，表明引入K并未对回归模型带来明显的“好处”，K可能是多余的； ③去掉K，加入P0，拟合优度有所提高，且各解释变量的t检验全部通过，F值也增大了。 ④将4个解释变量全部包括进模型，拟合优度未有明显改观，K的t检验未能通过，K显然是多余的。 5、结论 5、结论回归方程以Y=f(X,P1,P0)为最优： Y=-12.45+0.10X-0.19P1+0.31P0 本章要点本章要点多重共线 后果： 完全共线性下参数估计量不存在 近似共线性下普通最小二乘法参数估计量方差与标准差变大 参数估计量经济含义不合理 变量的显著性检验失去意义 模型的预测功能失效 检验 对两个解释变量的模型，采用简单相关系数法 对多个解释变量的模型，采用综合统计检验法 判定系数检验法 逐步回归法 修正 逐步回归法 差分法 增加样本容量 重新设定模型形式