4-parameter

null非线性回归模型非线性回归模型非线性回归模型非线性回归模型定义:模型中参数不全是线性形式出现，则 称为非线性回归模型！随机误差项仍假设服从正态分布！通常非线性回归模型简写成： 非线性回归模型的参数估计非线性回归模型的参数估计 为了估计未知参数的值．常用的方法是非线性最小二乘法，有时也用非线性最小一乘法，即LAD回归。非线性最小二乘法即选择合适的使残差平方和最小从而估计的值。null 由于是非线性形式出现，非线性最小二乘法的解，一般没有线性情形那样的公式可用，只能通过一个数学分支“最优化”的方法使SSE达到极小。最优化的理论和方法非常丰富，有多种方法使SSE达到极小。 无论哪种方法，都必须从一个预先给出的初始估计出发，经过多次迭代，不断改善，达到SSE近似极小，从而得到参数的近似最优估计--非线性最小二乘的近似最优解。由于计算量大，只能编程用电脑来算，通常用专用软件计算。null 非线性数SSE往往有多个极小值。由“最优化”理论可知，初估计对迭代的结果影响很大，初估计不好，不仅收敛速度慢，而且可能不收敛到最小值点。好的初估计不仅收敛速度快，而且总能收敛到全局最小值点；好的初估计称为优良初估计。通常求优良初估计，都是将非线性参数化为线性参数而用线性回归求出。即构造另一个线性回归模型，对同样的自变量，响应变量和观测数据，线性回归模型的最优解是非线性回归模型的优良初估计。非线性回归过程NLIN非线性回归过程NLINNLIN过程简介 PROC NLIN 选择项 ; MODEL 因变量=自变量达式 ; PARAMETERS或PARMS 参数=数值 …… 参数=数值 ; BY 语句 ; BOUNDS 语句 ; （参数约束语句） DER 语句 ; （微商语句） OUTPUT OUT=SAS数据集，KEYWORD=变量名 …… ; RUN ;nullnullnullnull应用举例 应用举例 例 设国内某厂生产用提纯法生产高纯度食品级 ，设影响生产过程的指标有y0（进塔浓度 ），t1（进塔温度），p1（塔顶压力），t（塔顶温度），t2（塔釜加热温度），p2（塔釜压力），t3（塔釜温度），关心的产量指标为y（出塔浓度）。据分析，它们间关系近似为: 试建立经验回归公式 ? nulldata co2; input y0 t1 p1 t t2 p2 t3 y; cards; 97.2 -20 2.97 -8 39 3.2 -13 99.49 97 -22 3.03 -6 41 3.24 -16 99.4 96.6 -21 3.13 -6 40 3.36 -11 99.28 96.7 -20 3.13 -4 41 3.35 -9 99.32 95.7 -24 2.86 -4 36 3.03 -17 99.24 96.8 -21 2.82 -3 38 2.92 -18 99.79 97 -23 2.99 -3 36 2.94 -12 99.87 96.6 -19 3.18 -3 39 3.42 -18 99.24 96.9 -22 3 -3 36 3.22 -18 99.3 93.6 -26 3.32 -3 32 3.44 -20 98.7 96.5 -18 3.12 -3 37 3.39 -20 99.22 93 -27 3.09 -3 29 3.25 -23 98.73 94 -22 3.05 -3 36 3.33 -23 98.93 96.7 -18 2.96 -3 38 3.29 -24 99.36 97.2 -21 2.9 -3 35 3.18 -23 99.41 95.7 -21 3.06 -3 39 3.26 -20 99.2 98.2 -19 2.97 -3 36 3.23 -20 99.5 97.27 -19 3.02 -3 35 3.34 -20 99.22 95.2 -19 3.03 -3 36 3.33 -20 99.17 95.8 -22 3.09 -3 34 3.34 -20 99.19 92.2 -19 3.02 -3 38 3.19 -13 99.36 97.2 -23 2.77 -3 86 3.03 -19 99.08 97.9 -20 3.15 -3 36 3.46 -19 99.11 96.1 -21 2.97 -3 36 3.32 -22 98.97 96.2 -21 2.96 -3 35 3.2 -20 99.11 95.4 -21 3.09 -3 36 3.34 -20 98.94 96.1 -21 2.94 -3 34 3.15 -22 99.11 96.1 -23 2.97 -3 40 3.17 -19 99.35 95.8 -19 2.99 -3 35 3.31 -22 99.22 96.1 -19 3.17 -3 45 3.46 -15 99.29 96.9 -18 3.03 -3 39 3.35 -18 99.5 96.4 -20 3.16 -3 40 3.45 -20 99.28 97.2 -22 2.95 -3 38 3.19 -19 99.27 96.6 -21 2.93 -3 35 3.12 -20 99.43 96.8 -21 2.94 -3 40 3.17 -19 99.33 97.8 -21 3 -3 43 3.21 -20 99.15 97.6 -20 2.86 -3 36 3 -20 99.59 98.6 -19 2.92 -3 47 3.09 -10 99.79 96.4 -22 3.02 -3 41 3.17 -16 99.3 96.7 -19 3.08 -3 38 3.39 -20 99.39 97 -18 3.34 -3 43 3.25 -18 99.64 96.8 -17 3.04 -2 38 3.35 -20 99.36 96 -22 3.22 -2 45 3.35 -8 99.53 96.5 -20 2.9 -2 42 3.11 -16 99.51 96.2 -22 2.9 -2 38 3.05 -21 99.44 96.8 -23 2.91 -2 39 3.12 -16 99.26 96.2 -22 2.98 -2 38 3.21 -20 99.27 97.4 -20 2.97 -3 40 3.3 -23 99.34 96.1 -21 3.03 -3 42 3.23 -16 99.18 ; proc nlin data=co2; parms b0=99 b1=-1 b2=-1 b3=-1 b4=0. b5=-1 b6=-1 b7=-1; model y=b0*y0**b1*(-t1)**b2*p1**b3*(-t)**b4*t2**b5*p2**b6*(-t3)**b7; run; proc nlin data=co2; parms b0=99 b1=0. b2=0.0 b3=0. b4=0. b5=0. b6=0. b7=0; model y=b0*y0**b1*(-t1)**b2*p1**b3*(-t)**b4*t2**b5*p2**b6*(-t3)**b7; run; proc nlin data=co2; parms b0=84.006 b1=0.0566 b2=-0.01342 b3=0.02023 b5=-0.00217 b6=-0.04775 b7=-0.00309; model y=b0*y0**b1*p1**b3*(-t1)**b2*t2**b5*p2**b6*(-t3)**b7; output out=wu p=yhat r=rhat; proc print data=wu;*/ run; LAD回归 LAD回归 SAS软件可用NLP过程计算LAD回归，NLP过程主要有4条语句：PROC　NLP语句、MIN（MAX）语句、PARMS语句和赋值语句。 １．PROC NLP语句一般形式是proc nlp data=文件名 tech=nmsinp; proc nlp用以调用NLP过程;data＝说明所用的数据，不可省略；tech=nmsimp指定用Nelder-Mead单纯型法作最小一乘。 ２.MIN(MAX)语句一般形式是min u；或max u或lsq u；用以指定目标函数u取最小、最大。u只能是变量符号，不带运算号。 ３.parms语句一般形式是parms 赋值式，1赋值式2…；例如 parms a1=1.2，b2=0.3，c=5.4；用以指定待估参数a1 ，b2和ｃ，并给出初估计a1=1.2, b2=0.3, c=5.4。 4.赋值语句一般形式是u=表达式，例如u＝abs（y-（sin(a1*x1)＋b2*cos(c+x2)））;用以指定确定性部分是sin(a1*x1)＋b2*cos(c+x2),abs是绝对值函数.null例 已知牧草重量y与生长天数x的关系是 9次观察的数据为表4.13,试估计a,b,c的值,并预报第101天牧草的重量。nulldata hw; input x y; cards; 9 8.93 14 10.8 21 18.59 28 22.33 42 39.35 57 56.11 63 61.73 70 64.62 79 67.08 ; proc nlp data=hw tech=nmsimp; min u; parms a=70,b=1.48884,c=0.05601; u=abs(y-a*exp(-exp(b-c*x))); run;NLIN应用举例 NLIN应用举例 nulldata bb; input x y wc; cards; 0.001 1.7834 0.032 0.01 1.6983 0.021 0.1 1.5536 0.016 1 1.1145 0.019 10 0.5734 0.023 100 0.2814 0.032 1000 0.1443 0.024 10000 0.0862 0.014 ; proc nlin data=bb method=newton; parms a=1.7 to 2 by 0.05 b=1.5 to 2.0 by 0.01 c=0.5 to 0.8 by 0.01 d=0.1 to 0.2 by 0.005; temp=(x/b)**c; temp1=temp+1; temp2=exp(x/b); model y= (a-d)/temp1+d ; der.a=1/temp1; der.b=((a-d)*c*temp**2)/(b*temp1**2); der.c=((d-a)*temp*temp2)/(temp1**2); der.d=1-1/temp1; OUTPUT OUT=bb2 P=yhat R=resid SSE=scrs L95M=lm U95M=um; run; proc plot data=bb2; plot y*x='a' yhat*x='*'/overlay HAXIS=0.001 0.01 0.1 1 10 100 1000 10000; run; quit;null程序说明：　 先将原始数据生成SAS数据集bb，选用牛顿法(NEWTON)进行迭代计算，因而需求出y关于系数a、b、c、d的一阶偏导数，如果需要求a、b、c、d的二阶混合偏导数时，只准许给出１个der.a.b.或der.b.a. ，不能同时给出2个。其它系数的混合偏导数要求同样。在步长搜索法没指定时，缺省值为SMETHOD=HVALVE，即各次迭代的步长k依次取为k=1，0.5，0.25，…；在SMETHOD=后除选用HVALVE外，还可选用GOLDEN(黄金分割法)、ARMGOLD和CUBIC。nullLogistic回归分析Logistic回归分析null 例 1: 购房与家庭收入：在一次住房展销会上，与房地产签定初步购房意向书的共有580名顾客，在随后的3个月内只有一部分顾客购买了房屋，购买了房屋的顾客记为1，没有购买房屋的顾客记为0，将数据汇总可得下表。其中x表示家庭月收入；n表该种收入调查户数； r表示该种收入买房户数。请问是否能判断家庭收入为48000元的顾客买房的可能性？nullnull例2： 北京市25年有关降雨资料如下表,x1,x2,x3,x4是4个预报因子，y表示降雨情况：y=1表示偏少,y=2表示正常,y=3表示偏多。 试建立模型，并对于 1976 年（预报因子为0.42 81.0 21.0 52.2），1977年（预报因子为0.52 81.0 38.0 45.8），1978年（预报因子为0.36 82.0 34.0 34.9），1979年（预报因子为0.43 84.0 34.0 60.5）预报降雨情况。 nullnull Brown(1980)在术前检查了53例前列腺癌患者，拟用年龄(AGE)、酸性磷酸酯酶(ACID)两个连续型的变量，X射线(X_RAY)、术前探针活检病理分级(GRADE)、直肠指检肿瘤的大小与位置(STAGE)三个分类变量与手术探查结果变量NODES（1、0分别表示癌症淋巴结转移与未转移 ）建立淋巴结转移的预报模型。医学实例（一）53例接受手术的前列腺癌患者情况 （一）53例接受手术的前列腺癌患者情况 （二）26例冠心病病人和28例对照进行病例对照研究 （二）26例冠心病病人和28例对照进行病例对照研究 26例冠心病病人和28例对照者进行病例对照研究 26例冠心病病人和28例对照者进行病例对照研究 null 线性回归模型在定量分析的实际研究中是非常流行的方法，但是在许多的情况下，因变量是一个分类变量而不是一个连续变量，这时候线性回归就不适用了。 许多社会科学的观察都只是分类的而不是连续的。比如在经济学研究中所涉及的是否销售或购买某种商品，这种选择度量通常分为两类，即“是”与“否”；在社会调查研究中，对态度、心理等的调查通常会分为几类，如“很满意”、“满意”、“不满意”等； 从上面两个例子可以看到，我们要判断某种现象发生的可能性，也就是要研究的社会现象发生的概率的大小，比如是否买房，降雨的概率是多少等等。 一、logistic回归模型 一、logistic回归模型 概率预报模型 概率预报模型 null Logistic回归直接预测出事件发生的概率，这同回归分析是不同的。 在估计模型的时候采用极大似然估计的迭代方法，找到系数的“最可能”估计。 二、模型的参数估计 二、模型的参数估计 Logistic回归参数的估计通常采用最大似然法(maximum likelihood，ML)。最大似然法的基本思想是先建立似然函数与对数似然函数，再通过使对数似然函数最大求解相应的参数值，所得到的估计值称为参数的最大似然估计值。 参数估计的公式 参数估计的公式 三、回归参数的假设检验 三、回归参数的假设检验 优势比及其可信区间 优势比及其可信区间 标准化回归参数标准化回归参数用于评价各自变量对模型的贡献大小四、回归参数的意义 四、回归参数的意义 当只有一个自变量时，以相应的预报概率 为纵轴，自变量 为横轴，可绘制出一条S形曲线。回归参数的正负符号与绝对值大小，分别决定了S形曲线的方向与形状nullnull优势比改变exp(bj)个单位nullnull五、整个回归模型的假设检验 五、整个回归模型的假设检验 似然比检验（likelihood ratio test）似然比检验（likelihood ratio test）六、logistic逐步回归（变量筛选）六、logistic逐步回归（变量筛选）MODEL语句加入选项“ SELECTION=STEPWISE SLE=0.10 SLS=0.10;” 常采用似然比检验： 决定自变量是否引入或剔除。模型中有X5、X6、X8， 看是否引入X1模型中有X5、X6、X8， 看是否引入X1模型含X5、X6、X8的模型的负二倍 对数似然为： ＝50.402 模型含X1、X5、X6、X8的模型的负二倍 对数似然为： ＝46.224 null 逻辑斯缔回归与LOGISTIC过程 在回归中自变量可以是连续的也可以是属性变量的回归问题 LOGISTIC过程 该过程用于分析只取两个值或有限个值的有序因变量的回归问题null一般为： PROC LOGISTIC; MODEL dependent=independents; BY variables; FREQ variable; WEIGHT variable; OUTPUT keyword=;未分组资料的logistic回归模型未分组资料的logistic回归模型 例 在一次关于公共交通的社会调查中，一个调查项目为“是乘坐公共汽车上下班，还是骑自行车上下班”。因变量y=1表示主要乘坐公共汽车上下班，y=0表示主要骑自行车上下班。自变量age是年龄，作为连续型变量； income是月收入（元）；sex是性别，sex=1表示男性，sex=0表示女性。调查对象为工薪族群体，数据见表，试建立y与自变量间的logistic回归。nullnullproc logistic; model 因变量=自变量 /selection=stepwise; output out=result p=predict; run;nulldata jiaotong; input number sex age income y; cards; 1 0 18 850 0 2 0 21 1200 0 3 0 23 850 1 4 0 23 950 1 5 0 28 1200 1 6 0 31 850 0 7 0 36 1500 1 8 0 42 1000 1 9 0 46 950 1 10 0 48 1200 0 11 0 55 1800 1 12 0 56 2100 1 13 0 58 1800 1 14 1 18 850 0 15 1 20 1000 0 16 1 25 1200 0 17 1 27 1300 0 18 1 28 1500 0 19 1 30 950 1 20 1 32 1000 0 21 1 33 1800 0 22 1 33 1000 0 23 1 38 1200 0 24 1 41 1500 0 25 1 45 1800 1 26 1 48 1000 0 27 1 52 1500 1 28 1 56 1800 1 ; run; proc logistic; model y=sex age income/selection=stepwise; output out=result p=predict; run; proc print data=result; run;医学实验程序医学实验程序 The LOGISTIC Procedure Analysis of Maximum Likelihood Estimates The LOGISTIC Procedure Analysis of Maximum Likelihood Estimates 预报模型 预报模型 The LOGISTIC Procedure Analysis of Maximum Likelihood Estimates The LOGISTIC Procedure Analysis of Maximum Likelihood Estimates 预报模型 预报模型 分组观测试验资料分组观测试验资料 例题1，是一个分组观测试验资料，要确定购房与否（属性变量）与收入（连续变量）之间的关系可以利用Logistic回归来完成。 proc logistic data=dataset; model m/n=x; output out=dataset p=….; run; 由于本例为分组数据的类型，所以在应用回归时，格式为m代表每组事件发生数量的变量,n代表每组试验数量的变量，用“/”加以分隔，再同自变量做回归；nulldata house; input income number purchase; cards; 6 40 8 8 50 12 10 60 18 13 80 28 15 100 45 20 70 36 25 65 39 30 50 33 35 40 30 40 25 20 48 . . ; proc logistic; model purchase/number=income; output out=result p=predict; run; proc print data=result; run;多分类因变量的logistic回归多分类因变量的logistic回归 在例2中，给出了北京市25年有关降雨资料的数据，其中x1,x2,x3,x4是4个预报因子，y表示降雨情况：y=1表示偏少,y=2表示正常,y=3表示偏多。这是一个因变量有多个取值的问题，为了处理这批数据，可编写下面的程序。 nulldata rain; input year x1 x2 x3 x4 y; cards; 1951 0.58 82.0 44.0 40.6 1 1952 0.40 83.0 18.0 43.0 3 1953 0.55 85.0 36.0 30.7 3 1954 0.40 85.0 36.0 40.7 3 1955 0.48 88.0 49.0 43.0 3 1956 0.41 82.0 35.0 78.6 2 1957 0.65 80.0 29.0 33.2 1 1958 0.45 82.0 32.0 33.1 2 1959 0.39 81.0 27.0 46.5 2 1960 0.34 85.0 28.0 41.7 2 1961 0.42 84.0 38.0 20.4 2 1962 0.52 86.0 38.0 0.2 1 1963 0.46 88.0 25.0 56.7 3 1964 0.48 83.0 46.0 13.6 1 1965 0.53 84.0 41.0 32.3 1 1966 0.65 81.0 31.0 28.9 1 1967 0.66 83.0 38.0 46.6 1 1968 0.53 80.0 42.0 93.1 2 1969 0.56 85.0 18.0 16.3 2 1970 0.45 83.0 37.0 23.9 2 1971 0.34 80.0 42.0 26.3 2 1972 0.41 79.0 38.0 40.8 2 1973 0.53 83.0 23.0 61.3 2 1974 0.48 84.0 19.0 23.2 3 1975 0.30 85.0 27.0 17.5 3 ; proc logistic; model y=x1 x2 x3 x4/selection=stepwise; output out=result p=predict; run; proc print data=result; run; null可以得到表达式为： 例如将数据X1=0.58，x2=82，代入上式可得：null 所以可知y=1即雨量偏少的概率为0.6584,y=2雨量正常的概率为0.97349-0.6584=0.31509，y=3雨量偏多的概率为0.02651，所以可以预测这一年的雨量偏少。null