结晶学ch3

1第三章方差分析1单因素方差分析一基本概念在科学试验和生产实践中，影响一个事物的因素往往很多，方差分析就是根据试验结果进行分析，鉴别各有关因素对试验结果的影响程度的一种方法在试验中，将试验结果称为试验指标；试验中需要考察的、可以控制的条件称为因素或因子为了考察某一个因素对试验指标的影响，把影响试验指标的其它因素固定，而把要考察的那个因素严格控制在几个不同状态或等级上进行试验，这样的试验称为单因素试验单因子试验）处理单因素试验的统计推断问题叫做单因素方差分析单因子方差分析）,类似可定义多因素方差分析把因素的每一状态或等级称为一个水平通常用大写的英文字母A，B，C表示不同的因素，而用A1，A2，Ar表示因素A的r个不同水平例1灯丝的配料优选）某灯泡厂用四种不同配料方案制成的灯丝生产了四批灯泡，在每批灯泡中随机抽取若干个灯泡测其使用寿命单位：小时），所得数据列于下表,试问这四种灯丝生产的灯泡的使用寿命有无显著性差异2表1灯泡使用寿命数据12345678甲1600161016501680170017001780乙15001640140017001750丙16401550160016201640160017401800丁151015201530157016401680这是一个单因素四水平试验，用X1，X2，X3及X4分别表示这四种灯泡的使用寿命，即四个总体，假定2(,)(1,2,3,4)iiXNi现从总体Xi中抽取容量为ni的样本：12,,,(1,2,3,4)iiiinXXXi假定这四个样本相互独立，即所有的(1,,,1,2,3,4)ijiXjni相互独立，因此问题归结为对假设o1234:===H作显著性检验二数学模型设因素A取r个不同水平A1，A2，，Ar，即有r个总体X1，X2，Xr，假定2(,)(1,2,,)iiXNir，在水平Ai下，进行(2)iinn独立试验，相当于从总体Xi抽取了容量为ni的样本12,,,(1,2,,)iiiinXXXir，假定这r个样本相互独立，则有灯泡使用寿命灯丝32(,)(1,2,,,1,2,,)ijiiXNjnir且所有的Xij相互独立表2单因素试验结果表12niA1X11X1211nXA2X21X2222nXArXr1Xr1rrnX令(1,2,,1,2,,)ijijiiXjnir则ij是在水平Ai下第j次重复试验的试验误差，是不可观测的随机变量，称为随机误差，显然有2(0,)ijN，且(1,2,,,1,2,)ijijnir相互独立于是Xij表示为ijiijX1）其中2(0,)ijN且相互独立(1,2,,1,2,,)ijnir要检验的假设为012H:r(2)记111,rriiiiinnnn,(1,2,,)iiir重复试验结果水平4称为理论总均值，i为水平iA对试验指标的效应易知i之间的差异同i之间的差异是等价的，且10riiin，因此模型1）可改写成：120(1,2,,,1,2,)(0,)ijiijriiiijiijXnjnirN相互独立，且3）模型3）称为单向分类模型或称一种方式分组模型假设2）等价于012H:0r4）三统计分析一）假设检验为了构造假设4）的检验统计量，记11(1,2,,)iniijjiXXirn11111inrrijiiijiXXnXnn分别称iX和X为第i个总体的样本均值和样本的总均值引入总偏差平方和简称总平方和）211()inrTijijSXXTS反映了全体样本ijX的波动程度的大小由于221111()[()()]iinnrrTijijiiijijSXXXXXX522111111()()2()()iiinnnrrrijiiijiiijijijXXXXXXXX而1111()()()()iinnrrijiiiijiijijXXXXXXXX11()()0inriijiiijXXXnX于是得到TS的分解式TASSS5）式中21122111()()()iinrijiijnrrAiiiijiSXXSXXnXXS反映了样本内的随机变动，因为2221111222221()[()][()()][()()]()iinnrrijiijiiijijriiiiiiESEXXEXnEXnnnrn这表明S仅依赖于重复试验中的随机误差，称S为误差平方和或称组内平方和又由于6222111122222211221()[()][()()]()()()()(1)()iinnrrAiiiijijrriiiiiiiriiiESEXXEXnEXnEXnEXnnnnrn当0H成立时，2()(1)AESr，AS反映了误差的波动；当0H不成立时，AS除反映误差波动外，主要反映了因素A的不同水平效应i的差异所引起的波动，称AS为因素的平方和或称组间平方和由于2222i11E,E11rAiiSSnnrrr当0H成立时2E[(1)]E,11E[()]AASSrrSnr当0H不成立时11ASSEErnr因此用1ASSFrnr作为0H的检验统计量下面将证明：在0H成立之下，有(1)(1,)()ASrFFrnrSnr6）7则对给定的显著性水平，检验规则为：当(1,)FFrnr时，拒绝0H；否则接受0H将上述分析结果常排成表格形式，称方差分析表表3单因素方差分析表方差来源平方和自由度均方F值因素ASAr11AASSrASS误差SnrSSnr总和STn1计算,,TASSS时，常按下列顺序进行：221111221111111iiiinnrrTijijijijnnrrAijijijijTASXXnSXXnnSSS利用这组不仅可以简化计算步骤，而且还可以提高计算精度为了简便常对数据ijX进行线性变换(),,0ijijYbXaabb为适当的常数，易知22221111()()iinnrrijiijiijijYYbXXbS8222211()()rriiiiAiinYYbnXXbS故作线性变换后的F值不变，特别当1b时，S和AS的值也不变续例1灯丝的配料方案优选）12344,7,5,8,6,26rnnnnn表4例1的方差分析表方差来源平方和自由度均方F值灯丝配料39776431325881638误差178089228095总和217865425对于给定的010010,(3,22)235,F因1638235,F故接受0H，认为四种灯丝生产的灯泡其平均使用寿命无显著性差异注：习惯上作如下规定：1）如果取001时拒绝0H，则称因素A的影响高度显著，用“”表示；2）如果取005时拒绝0H，但取001时不拒绝0H，则称因素A的影响显著，用“”标出；3）如果取010时拒绝0H，但取005时不拒绝0H，则称因素A有一定影响，记作“）”；4）如取010时不拒绝0H，则称因素A无显著影响9二）Cochran分解定理及F检验统计量的分布定理1Cochran分解定理）设12,,,nXXX相互独立同分布，1(0,1)XN，如果211nkijijQXQ其中jQ是秩为jn的12,,,nXXX的二次型，则12,,,kQQQ相互独立，且2(),1,2,jjQnjk成立的充要条件是12knnnn若将“jQ的秩为jn”改为“jQ的秩不超过jn”其它条件不变，定理仍然成立Cochran定理的用法：1°先验证2211();knjijiQXn2°验证jQ的秩为jn或jQ的秩不超过jn以及1kjjnn若1°和2°都成立，则12,,,kQQQ相互独立且2()(1,2,,)jjQnjk下面来推导(1)()ASrFSnr的分布,首先221111()[()()]iinnrrijijijijXXXX22111111()()2()()iiinnnrrrijijijijijXXXXXX102211()()inrijijXXnX得到恒等式2221111()()()iinnrrijijijijXXXnX7）再由5）式，得222211inrijAijXSSXn8）定理2在模型3）下，有ⅰ）22();Snrⅱ）当0H成立时，22(1);ASrⅲ）S与AS独立证ⅰ）因2(,)(1,2,,,1,2,)ijiiXNjnir且相互独立，及2122()(1),1,2,,inijijiXXnir由2分布的定义可得21222211()1()inijirrjiiiXXSnnrⅱ）当0H成立时，有2(,)(1,2,,,1,2,)ijiiXNjnir，11即(0,1),ijXN此时8）左边服从2()n；又已证S的自由度为()nr，对于AS，由于1()0riiinXX所以AS的秩不超过(1)r，又因(0,1)XNn，所以2Xn的秩为1，再由()(1)1nrrn及Cochran分解定理知，当0H立时222222(),(1),(1)ASSXnrrn且2,,()ASSX相互独立，证毕由定理2及F分布的定义可得，在0H之下(1)(1,)()ASrFFrnrSnr三）参数估计1）点估计在模型3）中，容易证明以下事实：ˆX是的无偏估计；iˆiX是i的无偏估计；iˆiXX是i的无偏估计；2ˆ()Snr是2的无偏估计122）区间估计若0H被拒绝，则因素的各水平的效应i有显著性差异，从而挑选效应最大的水平，称之为优水平在确定了因素的优水平后，在这个优水平的试验指标的观测值ijX下，怎样预测试验结果的理论均值i即求出i的区间估计在模型3）下，由22(0,1),()iiiXSNnrn，且iX与S相互独立，从而得222()(1,)()()iiiiiinXXSFnrnrSnrn对于给定的显著水平，有(1,)Fnr使2()(1,)1()iiinXPFnrSnr由此得i的置信水平为1的置信区间为(1,),(1,)()()iiiiSSXFnrXFnrnnrnnr9）或者由2()()()()iiiiiinXXStnrnrnSnr得i的置信水平为1的置信区间为22(),()()()iiiiSSXtnrXtnrnnrnnr10）13另外，从22()Snr得2的置信水平为1的置信区间为22122,()()SSnrnr11）142双因素方差分析在实际问题中，影响试验结果的因素往往不只一个，而是有两个或者更多例如水稻品种比较试验，考察三个品种：A，B，C在栽培、管理等试验条件相对固定，试验田的面积大小相同的条件下，作品种比较试验将A，B，C三个品种安排在试验田上，有下述三种方法：方法③设计最好，主观上和客观上都反映出品种这个因素所作的比较试验一数学模型在某项试验中，有两个因素A和B在变化，因素A有r个不同的水平A1，A2，，Ar，因素B有s个不同水平B1，B2，，Bs，共有rs个不同的水平组合Ai，Bj），1,2,,,1,2,,rrjs）对每个水平组合Ai，Bj）1,2,,,1,2,,rrjs）独立重复t次试验，设试验结果为(1,2,,,1,2,,1,2,,)ijkXirjskt，这样双因素多水平等重复试验的试验结果数据列成表1：ACAABCCBBCABABCBACBCA②③15表1双因素多水平等重复试验结果表1B2BrB1A11111211,,,tXXX12112212,,,tXXX11121,,,ssstXXX2A21121221,,,tXXX22122222,,,tXXX21222,,,ssstXXXrA11121,,,rrrtXXX21222,,,rrrtXXX12,,,rsrsrstXXX把每一水平组合Ai，Bj）下的试验结果记作Xij，则Xij是一随机变量，并作为一总体，这样共有rs个总体(1,2,,1,2,,)ijXirjs而把12,,,ijijijtXXX看作是从总体Xij中抽取的容量为t的样本假定2(,),ijijXN且rs个样本12,,,(1,2,,1,2,)ijijijtXXXirjs相互独立显然有2(,),1,2,,ijkijXNkt其中ij表示水平组合Ai，Bj）下试验结果的理论均值令ijkijkijX则ijk是水平组合Ai，Bj）下第k次重复试验的随机误差，是不可观测的随机变量，且(1,2,,,1,2,,,1,2,,)ijkirjskt相互独立且均服从正态分布2(0,)N于是得到如下模型：2(0,)ijkijijkijkXN1,2,;1,2,,;1,2,,irjskt1）其中2,ij都是未知参数BA16称1）为双因素方差分析的数学模型若记11111,1,,(1,2,,)1,,(1,2,,)rsijijsiijiijrjijjjirsirsjsr称为理论总均值，表示所考虑的rs个总体数学期望的总平均；称i为因素A的第i水平Ai对试验结果的效应；称j为因素B的第j水平Bj对试验结果的效应易见110,0rsijij记()ijijij2）其中ij反映水平组合(,)ijAB对试验指标的总效应，ij称为iA与jB对试验指标的交互效应在多因素方差分析中，通常把因素A与因素B对试验指标的交互效应设想为某一因素的效应，这个因素记作A×B，它称为A与B对试验指标的交互作用iA的效应i及jB的效应j称为主效应对交互效应，易证110rsijijij于是双因素方差分析的数学模型可改写成：1711112(1,2,,;1,2,,;1,2,,)0,0,0(0,),ijkijijijkrsrsijijijijijijkijkXirjsktN且所有的相互独立3）模型3）也称为两向分类模型或称两种方式分组模型若因素A对试验指标没有影响，即各水平(1,2,,)iAir的效应i相同，则由10rii，得120r因此要检验因素A对试验指标的影响是否显著，要对假设：0112:0rH4）作显著性检验同理要检验因素B以及交互作用A×B对试验指标的影响是否显著，要分别对假设：0212:0sH5）03:0,(1,2,,;1,2,,)ijHirjs6）作显著性检验二统计分析记111111111111rsttijkijijkijkkstrtiijkjijkjkikXXXXrsttXXXXstrt利用1822()()()()()ijkijkijijijijXXXXXXXXXXXX可得总的偏差平方和分解公式交叉乘积项之和为零）：222111111122111()()()()()jrstrstrijkijkijiijkijkisrsjijijijXXXXstXXrtXXtXXXX7）记221111112211211()()()()()rstrstTijkijkijijkijkrsAiBjijrsABijijijSXXSXXSstXXSrtXXStXXXX于是7）可简写成：TABABSSSSS定理3在模型3）下，有222))))((1)((1)12222((1)((1)(1)111jAiBABrESrstESrstisrsESsrtESrstijjij证略）可见，S反映了误差的波动；AS，BS，ABS除反映误差的作用外，还分别反映了因素A的效应的差异，因素B的效应的差异，因素A与B的交互效应的差异所引起的波动,分别称它们为误差的19偏差平方和，因素A的偏差平方和，因素B的偏差平方和以及交互作用A×B的偏差平方和从定理3还得到：当01H成立时，,1(1)ASSEErrst反之1(1)ASSEErrst；当02H成立时，,1(1)BSSEEsrst反之1(1)BSSEEsrst；当03H成立时，,(1)(1)(1)ABSSEErsrst反之(1)(1)(1)ABSSEErsrst，后面还将得到：当01H成立时(1)(1,(1))(1)AASrFFrrstSrst；当02H成立时(1)(1,(1))(1)BBSsFFsrstSrst当03H成立时，(1)(1)((1)(1),(1))(1)ABABSrsFFrsrstSrst因此可以用,ABFF和ABF分别作为01H,02H和03H的检验统计量，对给定的显著性水平，检验规则分别为：当(1,(1))AFFrrst时，拒绝01H，否则接受01H；当(1,(1))BFFsrst时，拒绝02H，否则接受02H；当(1)(1),(1))(ABFFrsrst时，拒绝03H，否则接受03H20检验过程可用表2来表示表2双因素等重复试验方差分析表方差来源平方和自由度均方F值因素AAS1r(1)AASSrAAFSS因素BBS1s(1)BBSSsBBFSS交互作用A×BABS(1)(1)rs(1)(1)ABABSSrsABABFSS误差S(1)rst(1)SSrst总和TS1rst为了便于计算，记1111111111tstijijkijiijkikjkrtrstrsjijkjijkijikijkijTXtXTXstXTXrtXTXrstXTT2111rstijkijkWX则有22212222111111rTAijsrsBjABijABjijTABABTTSWSTrststrstTTSTSTSSrtrsttrstSSSSS21例某农业研究所对三种小麦种子123,,AAA和四种农肥1234,,,BBBB在相同的试验田里做试验，结果列于下表中，表中数据是小麦的亩产量单位：kg）问小麦种子和农肥以及它们的交互作用对小麦等产量有无显著的影响(001)B1B2B3B4A1173,172174,176177,179172,173A2175,173178,177174,175170,171A3177,175174,174174,173169,169解为简化计算，将表中的数据都减去170，在这种变换之下，所有的平方和值保持不变AB1B2B3B4A13,24,67,92,3A25,38,74,50,1A37,54,44,31,1计算方差分析表如下：方差来源平方和自由度均方F值A8082404439B9083330283291A×B51926865940误差110012092总和1618323农肥亩产量种子B22由于439<F001(2，12)=6933291>F001(3，12)=595940>F001(6，12)=482故接受01H而拒绝02H和03H这表明小麦的种子对产量的影响不显著，而肥料及肥料与种子的交互作用对产量的影响是高度显著的，对应于A1,B3）的产量最高，因此应把A1和B3搭配起来生产定理4在模型3）下，有ⅰ）,,,ABABSSSS相互独立；ⅱ）22((1));Srstⅲ）当01H成立时，22(1);ASrⅳ）当02H成立时，22(1)BSs；ⅴ）当03H成立时，22(1)(1))(ABSrs证略）注：当t=1时，误差S的自由度为0，此时S=0，故当t=1时不能做假设检验；此外当t=1时，S=0，平方和分解式为TABABSSSSABS中包含了随机误差和交互效应，二者混在一起不能分开，故无法对交互效应作显著性检验，因此要检验交互作用的影响是否显著，就必须做重复试验，即t>1但当交互作用不存在或者它的影响可以忽略不计时，检验假设01H和02H不需要做重复试验233无交互作用的方差分析对于无交互作用情形，在各水平组合下只进行一次试验，对试验结果的分析也大为简化这时上节表1的试验结果数据为1(1,2,,;1,2,),ijXirjs简记成ijX；同样用ij表示1ij，其它记号如,,iijjXXX分别简记成,,ijijXXX，则在模型3）中，注意t=1及0ijr得到双因素无交互作用的方差分析的数学模型为：112(1,2,;1,2,,)0,0(0,),ijrsiiijijijijXirjsN且相互独立1）要检验的假设为：01120212:0:0rSHH总平方和的分解式TABABSSSS其中2221111()()(),,rrrsABABiiijijijijSsXXSrXXSXXXX则,ABSS除反映误差外，还分别反映了由于H01和H02不真所引起的波动;因为交互作用不存在,ABS只反映了误差的波动，用S表示ABS，即ABSS,于是平方和分解式可写成24TABSSSS由定理3可知，在模型1）下，有2212212((1)()(1)((1)(1)))rAiisBjiABESrsESsrESrs由定理4可得,,ABSSS相互独立，且22((1)(1));SrsH01成立时，22(1)ASr；H02成立时22(1)BSs因此当H01成立时，(1)(1,(1)(1))(1)(1)AASrFFrrsSrs当H02成立时，(1)(1,(1)(1))(1)(1)BBSsFFsrsSrs对给定的显著性水平，检验规则为：若(1,(1)(1))AFFrrs，则拒绝H01，否则就接受H01；若(1,(1)(1))BFFsrs，则拒绝H02，否则就接受H0225检验过程可用方差分析表表示双因素无交互作用方差分析表方差来源平方和自由度均方F值因素AAS1r1AASSrAASFS因素BBS1s1BBSSsBBSFS误差S(1)(1)rs(1)(1)SSrs总和TS1rs为了方便计算，记1111112srjirsrsijijiiijjjijijijTsXXTrXXTrsXXWX则有22211rTAiTABiTTSWSTSSSSrssrs例:四个工人轮流在三台机床上加工某种零件，表中的数据表示他们在相同规定时间内加工出的合格品件数问四个工人的技术是否有显著差异三台机床的性能是否有显著差异(005)26B1B2B3A1837A21048A3656A4847解：4,3rs，计算方差分析表为:方差来源平方和自由度均方F值工人4673156128机床3467217341421误差7336122总和466711因128<375=F0053,6）,1421>514=F0052,6）故接受H01而拒绝H02，即认为工人的技术没有显著差别，而三台机床的性能确有显著差异