3-1：高斯-马尔科夫定理的证明

高斯—马尔科夫定理(OLS有效性)的根据OLS的一阶条件:s()2Xy2XX设b是解，则b满足正则方程组XXbXy这正是我们曾的最小二乘正则方程组。因为X是满秩的，所以XX的逆存在,从而得到解是1b(XX)XyS()yy2XyXXS()2Xy2XX为了证实这确实是最小值，我们需要二阶编分矩阵2S()——b2XX是一-个正定矩阵。我们现在来证明这个结果。对任意一非零向量c,令qcXXc，则q2,其中Xci除非的每一元素都为0，否则q是正的。但若为零的话，则X的各列的一个线性组合等于0,这与X满秩的假定相矛盾。三、最小二乘估计量的统计特性在本节中，我们对回归量的两种情况，即非随机回归量和随机回归量下分别作讨论。1、X非随机回归量若回归量当作非随机来进行处理时，则将X当作常数矩阵处理就可导出最小二乘估计量的各种特性。可得b(XX)1X(X)(XX)1X(4)若X是非随机的，或E(X)0，则(4)中第二项的期望值是0。所以，最小二乘估计量是无偏的，它的协方差矩阵是Var[b]E[(b)(b)]E[(XX)1XX(XX)1](XX)1XE[]X(XX)1121(XX)1X(2I)X(XX)1212(XX)1在前面的内容中，对K=2的特殊b是卩的最小方差的线性无偏估计量。现在我们给出这个基本结果的一个更一般的证明，令~Cy是的另一个不同于b的线性无偏估计量，其中C是一个Kxn矩阵。若~是无偏的，E[Cy]E[CXC],这暗示着CX=I,并且~C。所以可以得到~的协方差矩阵是~2Var[b]2CC1~现在令DC(XX)1X,由假设知D工0。那么，b*bbDy,Var(b*)DYD'2DD',于是DD'是非负定矩阵。则Var[b~]2[(D(XX)1X)(D(XX)1X)]2[(D(XX)1X)(DX(XX)1)]212(DD(XX)1)在展开这个四项和式之前，我们注意到1ICXDX(XX)1(XX)由于上面最后一项是I，有DX=Q所以Var[b~]2DD2(XX)12Var[b]2DD~的方差矩阵等于b的方差矩阵加上一个非负定矩阵。所以，Var[~]的每个二次型都大于Var[b]的相应二次型。利用这个结果可以证明高斯-马尔科夫定理：高斯—马尔科夫定理：对任意常向量w,古典线性模型中w的最小方差线性无偏估计量是wb，其中b是最小二乘估计量。