应用多元统计分析习题解答_朱建平_第四章

应用多元统计习题解答_朱建平_第四章 Abbo无私奉献，只收1个金币，BS收5个金币的… 何老师考简单点啊…… 第四章 判别分析 4.1 简述欧几里得距离与马氏距离的区别和联系。 答: 设p维欧几里得空间中的两点X=和Y=。则欧几里得距离为 。欧几里得距离的局限有?在多元数据分析中，其度量不合理。?会受到实际问题中量纲的影响。 设X,Y是来自均值向量为，协方差为 的总体G中的p维样本。则马氏距离为D(X,Y)= 。当 即单位阵时，D(X,Y)==即欧几里得距离。 因此，在一定程度上，欧几里得距离是马氏距离的特殊情况，马氏距离是欧几里得距离的推广。 4.2 试述判别分析的实质。 答:判别分析就是希望利用已经测得的变量数据，找出一种判别函数，使得这一函数具有某种最优性质，能把属于不同类别的样本点尽可能地区别开来。设R1，R2，„，Rk是p维空间R p的k个子集，如果它们互不相交，且它们的和集为，则称为的一个划分。判别分析问题实质上就是在某种意义上，以最优的性质对p维空间构造一个“划分”，这个“划分”就构成了一个判别规则。 4.3 简述距离判别法的基本思想和方法。 答:距离判别问题分为?两个总体的距离判别问题和?多个总体的判别问题。其基本思想都是分别计算样本与各个总体的距离(马氏距离)，将距离近的判别为一类。 ?两个总体的距离判别问题 设有协方差矩阵?相等的两个总体G和G，其均值分别是,和, ，对于一个新的样品X，121222要判断它来自哪个总体。计算新样品X到两个总体的马氏距离D(X，G)和D(X，G)，12则 22 X ，D(X，G)D(X，G) 12 22X ，D(X，G)> D(X，G， 12 具体分析， 22DGDG(,)(,)XX, 12 ,,11,,,,,,,,()()()()XμΣXμXμΣXμ1122 ,,,,,,111111,,,,,,,,，,,，XΣXX2(2)ΣμμΣμXΣXXΣμμΣμ111222 ,,,111,,,,,，,2()XΣμμμΣμμΣμ211122 ,,11,,,,，，,2()()()XΣμμμμΣμμ211212 ,μμ，,,,112 ,,,,2()XΣμμ12,,2,, ,,,,,,,,2()2()XμααXμ ,记 则判别规则为 W()()X,,αXμ X ，W(X) X ，W(X)<0 ?多个总体的判别问题。 k设有个总体G,G,？,G，其均值和协方差矩阵分别是μ,μ,？,μ和Σ,Σ,？,Σ，12k12k12k 且Σ,Σ,？,Σ,Σ。计算样本到每个总体的马氏距离，到哪个总体的距离最小就属12k 于哪个总体。 21,,DG(,)()()XX,,,μΣXμ具体分析， ,,, ,,,111,,,,,，XΣX2μΣXμΣμ,,, ,1,,,,，XΣXIX2()C,, 1,1,1,C,,μΣμI,Σμ取，，。 ,,1,2,？,k,,,,,2 可以取线性判别函数为 ,WC()XIX,，， ,,1,2,？,k,,, ,X,G相应的判别规则为 若 WC()max()XIX,，ii,,1,,k, 4.4 简述贝叶斯判别法的基本思想和方法。 G,G,？,Gf(x),f(x),？,f(x)基本思想:设k个总体，其各自的分布密度函数，假设k12k12k k q,q,？,qq,0Gq,1个总体各自出现的概率分别为，，。设将本来属于总体的样品,12kiiii,1 G错判到总体时造成的损失为，。 C(j|i)i,j,1,2,？,kj kG,G,？,GR,(R,R,？,R)p设个总体相应的维样本空间为 。 12k12k RGG在规则下，将属于的样品错判为的概率为 ji i,j,1,2,？,ki,jP(j|i,R),f(x)dx i,Rj 则这种判别规则下样品错判后所造成的平均损失为 k r(i|R),[C(j|i)P(j|i,R)] i,1,2,？,k,,1j R则用规则来进行判别所造成的总平均损失为 k g(R),qr(i,R),i,1i kk ,qC(j|i)P(j|i,R) ,,iij,,11 R,R,？,R，使总平均损失达到极小。 贝叶斯判别法则，就是要选择一种划分g(R)12k kk g(R),qC(j|i)P(j|i,R)基本方法: ,,i,,11ij kk ,qC(j|i)f(x)dx ,,ii,Rjij,,11 kk ,(qC(j|i)f(x))dx ,,ii,Rjji,,11 kk g(R),h(x)dx令qCjifh(|)()()xx,，则 ,,jiij,Rj,1ji,1 k*****R,(R,R,？,R)g(R),h(x)dx若有另一划分， ,j12k*,Rjj,1则在两种划分下的总平均损失之差为 kk*g(R),g(R),[h(x),h(x)]dx ,,ij*,,RRij,,11ij jh(x),h(x)R因为在上对一切成立，故上式小于或等于零，是贝叶斯判别的解。 iji Rhh,,{|()min()}xxxiijR,(R,R,？,R)i,1,2,？,k1,,jk12k为 从而得到的划分 4.5 简述费希尔判别法的基本思想和方法。 pk答:基本思想:从个总体中抽取具有个指标的样品观测数据，借助方差分析的思想构 造一个线性判别函数 ,UuXuXuX()XuX,，，，, 1122pp ,系数u,(u,u,？,u)可使得总体之间区别最大，而使每个总体内部的离差最小。将新样12p pU()X品的个指标值代入线性判别函数式中求出值，然后根据判别一定的规则，就可以判别新的样品属于哪个总体。 4.6 试析距离判别法、贝叶斯判别法和费希尔判别法的异同。 答:? 费希尔判别与距离判别对判别变量的分布类型无要求。二者只是要求有各类母体的两阶矩存在。而贝叶斯判别必须知道判别变量的分布类型。因此前两者相对来说较为简单。 ? 当k=2时，若则费希尔判别与距离判别等价。当判别变量服从正态分布时，二者与贝叶斯判别也等价。 当时，费希尔判别用作为共同协差阵，实际看成等协差阵，此与? 距离判别、贝叶斯判别不同。 ? 距离判别可以看为贝叶斯判别的特殊情形。贝叶斯判别的判别规则是 X ，W(X) X ，W(X)