非线性回归预测法——高斯牛顿法(詹学朋).doc

非线性回归预测法——高斯牛顿法(詹学朋).doc 非线性回归预测法——高斯牛顿法(詹学朋) 非线性回归预测法前面所研究的回归模型，我们假定自变量与因变量之间的关系是线性的，但社会 经济现象是极其复杂的，有时各因素之间的关系不一定是线性的，而可能存在某种非 线性关系，这时，就必须建立非线性回归模型。 一、非线性回归模型的概念及其分类 非线性回归模型，是指用于经济预测的模型是曲线型的。常见的非线性回归模型 有下列几种: (1)双曲线模型: yi = β 1 + β 21 + εi xi(3-59)(2)二次曲线模型:yi = β 1 + β 2 xi + β 3 xi2 + ε i(3)对数模型:(3-60)yi = β 1 + β 2 ln xi + ε i(4)三角函数模型:(3-61)yi = β 1 + β 2 sin xi + ε i(5)指数模型:(3-62)y i = ab xi + ε i(3-63) (3-64)y i = e β 0 + β11xi1 + β 2 xi 2 +ε i(6)幂函数模型:yi = axib + ε i(7)罗吉斯曲线:(3-65)e β 0 + β11 xi yi = + εi 1 + e β 0 + β11 xi(8)修正指数增长曲线:(3-66)yi = a + br xi + ε i第一类:直接换元型。(3-67)根据非线性回归模型线性化的不同性质，上述模型一般可细分成三种类型。这类非线性回归模型通过简单的变量换元可直接化为线性回归模型， 如: (3-59)、 (3-60)、(3-61)、(3-62)式。由于这类模型的因变量没有变形，所以可以直接采用最 小平方法估计回归系数并进行检验和预测。 第二类:间接代换型。 这类非线性回归模型经常通过对数变形的代换间接地化为线性回归模型，如: (3-63)、(3-64)、(3-65)式。由于这类模型在对数变形代换过程中改变了因变量的形 态，使得变形后模型的最小平方估计失去了原模型的残差平方和为最小的意义，从而 估计不到原模型的最佳回归系数，造成回归模型与原数列之间的较大偏差。 第三类:非线性型。1 这类非线性回归模型属于不可线性化的非线性回归模型， 如: (3- 66)和(3-67)式。 第一类和第二类非线性回归模型相对于第三类，又 称为可线性化的非线性回归模型。 本节重点研究第一类和第二类即 可线性化的非线性回归模型。 二、可线性化的非线性回归模型的模 型变换及参数估计 1.直接换元法 换元过程和参数估计方法， 如表 3-6 所示。 例设某商店 1991,2000 年的商品流通 费用率和商品 零售额如下表: 表 3-7 商品流通 费用率, 直接换元法计算 表 商品零售 额(万元)年份 符号 1991 1992 1993 1994 1995 1996 1997 1998 1999 2000yi7.0 6.2 5.8 5.3 5.0 4.6 4.5 4.4 4.2 4.0xi10.2 11.7 13.0 15.0 16.5 19.0 22.0 25.0 28.5 32.0xi' =1 xi0.0980 0.0855 0.0769 0.0667 0.0606 0.0526 0.0455 0.0400 0.0351 0.0313根据上述资 料，配合适当的回归模型商品零售额与流通费用率的关系，若 2001 年该商店商品零售额将为 36.33 万元，对 2001 年的商品流 通费用额作出预测。 解:(1)绘制散点图(图略)。从图中可清楚看 到:随着商品零售额的增加，流通费用 率有不断下降的趋势，呈双 曲线形状。 (2)建立双曲线模型。yi = β 1 + β 2得1 + εi xi令 xi ='1 xiyi = β1 + β 2 xi' + ε iEviee: 23:08 Sample: 1991 2000 Included observations: 10 Variable Coefficient C 2.568000 X1 42.76096 R-squared 0.977592 Adjusted R-squared 0.974791 S.E. of regression 0.154117 Sum squared resid 0.190018 Log likelihood 5.626735 Durbin-ean dependent var S.D. dependent var Akaike info criterion Sch (0) yn f ( xn , g ) ( 0) D 100 ) L D 1( p 1 D n(×0p) = M (0) (0) D n 0 L D np 1 ( ) B p0 1 × β 0( 0 ) = M (0) β p 1 (0) (3)估计修正因子。用最小平方法对(3-70)式估计修正因子 B 则: b ( 0 ) = D ( 0 ) D ( 0 )'，()1D (0 ) Y (0)'(3-71)设 g 为第一次 迭代值，则: g (1) = g ( 0 ) + b ( 0 )(1)(4)精确度的检验。设残差平 方和为:4 SSR ( 0) = ? yi f ( xi , g ( s ) ) ，S 为重复迭代次数，对于给定的允 许误差率 K，当i =1n[]2SSR ( s ) SSR ( s 1) ? k 时，则停止迭代; 否则，对(3-71)式作下一次迭代。 SSR ( s )(5)重复迭代。重复(3-71) 式，当重复迭代 S 次时，则有: 修正因子: b ( s ) = D ( s ) D ( s )'()1D (s) Y (s)'第(S+1)次迭代值: g ( s +1) = g ( s ) + b ( s ) 四、应用举例 设 12 个同类企业的月产量与单位成本的资料如 下表: 表 3-9 企业 编号 1 2 3 4 5 6 7 8 9 10 11 12 间接代换法计算 表 单位产品 月产量 成本(元) 160 151 114 128 85 91 75 76 66 60 61 60yixi10 16 20 25 31 36 40 45 51 56 60 65(注:资料来源《社会经 济统计学原理教科书》第 435 页) 试配合适当的回归模型分析月产 量与单位产品成本之间的关系。 解:(1)回归模型与初始值的选 择。根据资料散点图的识别，本数据应配合指数模型:yi = ab xi对 指数模型两边取对数，化指数模型为线性回归模型，然后施行最小 平方法求出初始 值。即: lg yi = lg a + xi lg b? ' i ' ? ?令:i' = lg yi , a ' = lg a , b ' = lg b y'??则上 述指数模型变为: y = a + b xiyi' = 2.26109 0.00831xi?对 a ' , b ' 分别求反对数，得 a = 182.43, b = 0.981 ，带入原 模型， 得回归模型: yi = 182.43 × 0.981 ix ?高斯— 高斯—牛顿 迭代法 初始回归模型: f ( xi , g 残差平方和: SSR(0)(0)) = 182.43 × 0.981xi= ? ( y i f ( xi , g (0) ))2 = 1124.15265 (2)泰勒级数展开式。先对指数模型 yi = ab i 中的 a 和 b 分别 求偏导数。x? yi a yi b??a = a0 b = b0= b xia= a0 b =b0= 0.981xia = a0 b =b0= axib xi1a =a0 b=b0= 182.43* xi *0.981xi1然后用泰勒级数 展开指数模型，移项整理得(注:参见(3-69)、(3-70)式):Y (0)160- 150.5866 151-134.2148 114-124.3015 128-112.9332 85-100.6550 91- 91.4493 75- 84.6948 76- 76.9488 66- 68.5829 60- 62.3104 61- 57.7081 60- 52.4302 = 0.82545 0.73571 0.68137 0.61905 0.55175 0.50128 0.46246 0.42180 0.37594 0.34156 0.31633 0.28740D (0)1535.0316 2189.0282 2534.1796 2878.0110 3180.7400 3355.9387 3453.4052 3529.7593 3565.4701 3556.9658 3529.5468 3473.9702B (0)a(0)b(0)(3-72) (3)估计修正因子。解(3-72)式矩阵，得:a(0)12.09660288 =b(0), 0.00180342第一次迭代值:a1 = b1a0 ， b0a(0)194.5266 , b(0)0.9792(1) xi第一次迭代回归模型: f ( xi , g ) = 194.5266 × 0.9792 (4)精确度的检验。残差平方和:6 SSR (1) = ? ( y i f ( xi , g (1) )) 2 = 999.4077给定误差率 K=10 ,则: -3SSR (1) SSR (0) 1124.1526 = 1 = 0.12482 > k (1) SSR 999.4077 作下一次迭代。 (5)重复迭代。 将 a1 b1 代入(3-71)式作第二次迭 代。得估计修正因子:a(1)0.647654043 =b(1),0.000066948第二次 迭代值:a2 = b2a1 ， b1a(1)195.1743 ,b(1)0.9791(2)第二次迭代回 归模型: f ( xi , g) = 195.1743 × 0.9791xi残差平方和: SSR (2) = 误差率:?(yi f ( xi , g (2) )) 2 = 999.1241SSR (2) SSR (1) 999.4077 = 1 = 0.00028 < k (2) SSR 999.1241误差率达到要求，停止迭代。表 3-10 计算结果比较 最小平方法 回归系数 a 回归系数 b 残差平方 和 SS R 误 差 率 % 相关指数 R 182.43 0.981 1124.1526 — 0.95937 一次迭代 194.5266 0.9792 999.4077 12.482 0.96396 二次迭 代 195.1743 0.9791 999.1241 0.028 0.96397从上表可看出:高斯—牛 顿迭代法具有收敛快，精确度高的优点，二次迭代就使7 精确度高达 99.97%，相关指数也明显提高。理论上可以高斯—牛顿迭代法经过数 次迭代后，估计回归系数将逼近最佳的待估回归系数，使残差平方和达到最小，从而 明显地克服了最小平方法的不足。其缺陷是计算量较大，但随着电子计算机的日益普 及，这点计算就显得微不足道了。SPSS10.0 软件，hzz,暴 P98 表 3,9根据最小平方法，参数为: Eviews4.0 软件，hzz,暴 P98 表 3,9 或:Quick/generate Series (生成系列) lny=log(y)，Lny c x 结果不对,对 b′及 a′分别求反对数，得初始值:a0=182.43，b0=0.981，初始回归模型:f ( xi , g ( 0) ) = 182.43 × 0.981xi f残差平方和: SSR ( 0 ) =? [y f ( x , g ) ]n (s) i =1 i i2= 1124.1526(2)高斯—牛顿迭代法。用 SPSS10.0 软件计算。 (3)估计修正因子。解(3-72)式矩阵，得: (4)精确度的检验。残差平方和: (5)重复迭代。高斯—牛顿迭代法可用于各种间接代换型、非线性型回归模型。 例:冯 P158 增长型曲线模型，P162 生命周期曲线模型。数据参见 SPSS10.0 软件 计算课本练习数据。8