应用多元统计分析习题解答_朱建平_第四章
Abbo无私奉献,只收1个金币,BS收5个金币的…
何老师考简单点啊……
第四章 判别分析
4.1 简述欧几里得距离与马氏距离的区别和联系。
答: 设p维欧几里得空间中的两点X=和Y=。则欧几里得距离为
。欧几里得距离的局限有?在多元数据分析中,其度量不合理。?会受到实际问题中量纲的影响。
设X,Y是来自均值向量为,协方差为
的总体G中的p维
。则马氏距离为D(X,Y)=
。当
即单位阵时,D(X,Y)==即欧几里得距离。
因此,在一定程度上,欧几里得距离是马氏距离的特殊情况,马氏距离是欧几里得距离的推广。
4.2 试述判别分析的实质。
答:判别分析就是希望利用已经测得的变量数据,找出一种判别函数,使得这一函数具有某种最优性质,能把属于不同类别的样本点尽可能地区别开来。设R1,R2,„,Rk是p维空间R p的k个子集,如果它们互不相交,且它们的和集为,则称为的一个划分。判别分析问题实质上就是在某种意义上,以最优的性质对p维空间构造一个“划分”,这个“划分”就构成了一个判别规则。
4.3 简述距离判别法的基本思想和
。
答:距离判别问题分为?两个总体的距离判别问题和?多个总体的判别问题。其基本思想都是分别计算样本与各个总体的距离(马氏距离),将距离近的判别为一类。 ?两个总体的距离判别问题
设有协方差矩阵?相等的两个总体G和G,其均值分别是,和, ,对于一个新的样品X,121222要判断它来自哪个总体。计算新样品X到两个总体的马氏距离D(X,G)和D(X,G),12则
22 X ,D(X,G)D(X,G) 12
22X ,D(X,G)> D(X,G, 12
具体分析,
22DGDG(,)(,)XX, 12
,,11,,,,,,,,()()()()XμΣXμXμΣXμ1122
,,,,,,111111,,,,,,,,,,,,XΣXX2(2)ΣμμΣμXΣXXΣμμΣμ111222
,,,111,,,,,,,2()XΣμμμΣμμΣμ211122
,,11,,,,,,,2()()()XΣμμμμΣμμ211212
,μμ,,,,112 ,,,,2()XΣμμ12,,2,,
,,,,,,,,2()2()XμααXμ
,记 则判别规则为 W()()X,,αXμ
X ,W(X)
X ,W(X)<0
?多个总体的判别问题。
k设有个总体G,G,?,G,其均值和协方差矩阵分别是μ,μ,?,μ和Σ,Σ,?,Σ,12k12k12k
且Σ,Σ,?,Σ,Σ。计算样本到每个总体的马氏距离,到哪个总体的距离最小就属12k
于哪个总体。
21,,DG(,)()()XX,,,μΣXμ具体分析, ,,,
,,,111,,,,,,XΣX2μΣXμΣμ,,, ,1,,,,,XΣXIX2()C,,
1,1,1,C,,μΣμI,Σμ取,,。 ,,1,2,?,k,,,,,2
可以取线性判别函数为
,WC()XIX,,, ,,1,2,?,k,,,
,X,G相应的判别规则为 若 WC()max()XIX,,ii,,1,,k,
4.4 简述贝叶斯判别法的基本思想和方法。
G,G,?,Gf(x),f(x),?,f(x)基本思想:设k个总体,其各自的分布密度函数,假设k12k12k
k
q,q,?,qq,0Gq,1个总体各自出现的概率分别为,,。设将本来属于总体的样品,12kiiii,1
G错判到总体时造成的损失为,。 C(j|i)i,j,1,2,?,kj
kG,G,?,GR,(R,R,?,R)p设个总体相应的维样本空间为 。 12k12k
RGG在规则下,将属于的样品错判为的概率为 ji
i,j,1,2,?,ki,jP(j|i,R),f(x)dx i,Rj
则这种判别规则下样品错判后所造成的平均损失为
k
r(i|R),[C(j|i)P(j|i,R)] i,1,2,?,k,,1j
R则用规则来进行判别所造成的总平均损失为
k
g(R),qr(i,R),i,1i
kk
,qC(j|i)P(j|i,R) ,,iij,,11
R,R,?,R,使总平均损失达到极小。 贝叶斯判别法则,就是要选择一种划分g(R)12k
kk
g(R),qC(j|i)P(j|i,R)基本方法: ,,i,,11ij
kk
,qC(j|i)f(x)dx ,,ii,Rjij,,11
kk
,(qC(j|i)f(x))dx ,,ii,Rjji,,11
kk
g(R),h(x)dx令qCjifh(|)()()xx,,则 ,,jiij,Rj,1ji,1
k*****R,(R,R,?,R)g(R),h(x)dx若有另一划分, ,j12k*,Rjj,1则在两种划分下的总平均损失之差为
kk*g(R),g(R),[h(x),h(x)]dx ,,ij*,,RRij,,11ij
jh(x),h(x)R因为在上对一切成立,故上式小于或等于零,是贝叶斯判别的解。 iji
Rhh,,{|()min()}xxxiijR,(R,R,?,R)i,1,2,?,k1,,jk12k为 从而得到的划分
4.5 简述费希尔判别法的基本思想和方法。
pk答:基本思想:从个总体中抽取具有个指标的样品观测数据,借助方差分析的思想构
造一个线性判别函数
,UuXuXuX()XuX,,,,, 1122pp
,系数u,(u,u,?,u)可使得总体之间区别最大,而使每个总体内部的离差最小。将新样12p
pU()X品的个指标值代入线性判别函数式中求出值,然后根据判别一定的规则,就可以判别新的样品属于哪个总体。
4.6 试析距离判别法、贝叶斯判别法和费希尔判别法的异同。
答:? 费希尔判别与距离判别对判别变量的分布类型无要求。二者只是要求有各类母体的两阶矩存在。而贝叶斯判别必须知道判别变量的分布类型。因此前两者相对来说较为简单。 ? 当k=2时,若则费希尔判别与距离判别等价。当判别变量服从正态分布时,二者与贝叶斯判别也等价。
当时,费希尔判别用作为共同协差阵,实际看成等协差阵,此与?
距离判别、贝叶斯判别不同。
? 距离判别可以看为贝叶斯判别的特殊情形。贝叶斯判别的判别规则是 X
,W(X)
X ,W(X)
表是这十种品牌饮料的销售价格(元)和顾客对各种饮料的口味评分、信任度评分的平均数。
销售情况 产品序号 销售价格 口味评分 信任度评分
1 2.2 5 8
2 2.5 6 7 畅销 3 3.0 3 9
4 3.2 8 6
5 2.8 7 6
平销 6 3.5 8 7
7 4.8 9 8
8 1.7 3 4
9 2.2 4 2 滞销
10 2.7 4 3
? 根据数据建立贝叶斯判别函数,并根据此判别函数对原样本进行回判。 ? 现有一新品牌的饮料在该超市试销,其销售价格为3.0,顾客对其口味的评分平均为8,信任评分平均为5,试预测该饮料的销售情况。
解:增加group变量,令畅销、平销、滞销分别为group1、2、3;销售价格为X,口味评1分为X,信任度评分为X,用spss 解题的步骤如下: 23
1. 在SPSS窗口中选择Analyze?Classify?Discriminate,调出判别分析主界面,
将左边的变量列表中的“group”变量选入分组变量中,将X、X、X变量选入自123
变量中,并选择Enter independents together单选按钮,即使用所有自变量进行判
别分析。
2. 点击Define Range按钮,定义分组变量的取值范围。本例中分类变量的范围为
1到3,所以在最小值和最大值中分别输入1和3。单击Continue按钮,返回主界
面。如图4.1
图4.1 判别分析主界面
3. 单击Statistics…按钮,指定输出的描述统计量和判别函数系数。选中Function
Coefficients栏中的Fisher’s:给出Bayes判别函数的系数。(注意:这个选项不是
要给出Fisher判别函数的系数。这个复选框的名字之所以为Fisher’s,是因为按判
别函数值最大的一组进行归类这种思想是由Fisher提出来的。这里极易混淆,请
读者注意辨别。)如图4.2。单击Continue按钮,返回主界面。
图4.2 statistics子对话框
4. 单击Classify…按钮,弹出classification子对话框,选中Display选项栏中的
Summary table复选框,即要求输出错判矩阵,以便实现题中对原样本进行回判的
要求。如图4.3。
图4.3 classification对话框
5. 返回判别分析主界面,单击OK按钮,运行判别分析过程。
1) 根据判别分析的结果建立Bayes判别函数:
Bayes判别函数的系数见表4.1。表中每一列表示样本判入相应类的Bayes判别函数系数。由此可建立判别函数如下:
Group1: Y1,,81.843,11.689X1,12.297X2,16.761X3
Group2: Y2,,94.536,10.707X1,13.361X2,17.086X3
Y3,,17.449,2.194X1,4.960X2,6.447X3Group3:
将各样品的自变量值代入上述三个Bayes判别函数,得到三个函数值。比较这三个函数值,哪个函数值比较大就可以判断该样品判入哪一类。
Classification Function Coefficients
group
1 2 3
x1 -11.689 -10.707 -2.194
x2 12.297 13.361 4.960
x3 16.761 17.086 6.447
(Constant) -81.843 -94.536 -17.449
Fisher's linear discriminant functions
表4.1 Bayes判别函数系数
根据此判别函数对样本进行回判,结果如表4.2。从中可以看出在4种畅销饮料中,有3种被正确地判定,有1种被错误地判定为平销饮料,正确率为75%。在3种平销饮料中,有2种被正确判定,有1种被错误地判定为畅销饮料,正确率为66.7%。3种滞销饮料均正确判定。整体的正确率为80.0%。
aClassification Results
Predicted Group Membership
group 1 2 3 Total
Original Count 1 3 1 0 4
2 1 2 0 3
3 0 0 3 3
% 1 75.0 25.0 .0 100.0
2 33.3 66.7 .0 100.0
3 .0 .0 100.0 100.0
a. 80.0% of original grouped cases correctly classified.
表4.2 错判矩阵
2) 该新饮料的,,,将这3个自变量代入上一小题得到的BayesX1,3.0X2,8X3,5
Y2判别函数,的值最大,该饮料预计平销。也可通过在原样本中增加这一新样本,重
复上述的判别过程,并在classification子对话框中同时要求输出casewise results,运行判
别过程,得到相同的结果。
4.9 银行的贷款部门需要判别每个客户的信用好坏(是否未履行还贷责任),以决定是否给
XX予贷款。可以根据贷款申请人的年龄()、受教育程度()、现在所从事工作的年数12
XXXXX()、未变更住址的年数()、收入()、负债收入比例()、信用卡债务()、34567
X其它债务()等来判断其信用情况。下表是从某银行的客户
中抽取的部分数据,?8
根据样本资料分别用距离判别法、Bayes判别法和Fisher判别法建立判别函数和判别规则。?某客户的如上情况资料为(53,1,9,18,50,11.20,2.02,3.58),对其进行信用好坏的判别。
目前信用客户XXXXXXXX 12345678好坏 序号
1 23 1 7 2 31 6.60 0.34 1.71
2 34 1 17 3 59 8.00 1.81 2.91 已履行还3 42 2 7 23 41 4.60 0.94 .94 贷责任 4 39 1 19 5 48 13.10 1.93 4.36
5 35 1 9 1 34 5.00 0.40 1.30
6 37 1 1 3 24 15.10 1.80 1.82
7 29 1 13 1 42 7.40 1.46 1.65 未履行还8 32 2 11 6 75 23.30 7.76 9.72 贷责任 9 28 2 2 3 23 6.40 0.19 1.29
10 26 1 4 3 27 10.50 2.47 .36
解:令已履行还贷责任为group0,未履行还贷责任为group1。令(53,1,9,18,50,11.20,2.02,3.58)客户序号为11,group未知。用spss解题步骤如下:
1. 在SPSS窗口中选择Analyze?Classify?Discriminate,调出判别分析主界面,将左边
X1,X6的变量列表中的“group”变量选入分组变量中,将变量选入自变量中,
并选择Enter independents together单选按钮,即使用所有自变量进行判别分析。
2. 点击Define Range按钮,定义分组变量的取值范围。本例中分类变量的范围为0到
1,所以在最小值和最大值中分别输入0和1。单击Continue按钮,返回主界面。
3. 单击Statistics…按钮,指定输出的描述统计量和判别函数系数。选中Function
Coefficients栏中的Fisher’s和Unstandardized。单击Continue按钮,返回主界面。
4. 单击Classify…按钮,定义判别分组参数和选择输出结果。选择Display栏中的
Casewise results,以输出一个判别结果表。其余的均保留系统默认选项。单击
Continue按钮。
5. 返回判别分析主界面,单击OK按钮,运行判别分析过程。
1) 用费希尔判别法建立判别函数和判别规则:
未标准化的典型判别函数系数由于可以将实测的样品观测值直接代入求出判别得分,所
以该系数使用起来比标准化的系数要方便一些。具体见表4.3 。
表4.3 未标准化的典型判别函数系数
由此表可知, Fisher判别函数为:
Y,,10.794,0.32X1,6.687X2,0.173X3,0.357X4,0.024X5,0.710X6,0.792X7,2.383X8
Y用计算出各观测值的具体坐标位置后,再比较它们与各类重心的距离,就可以得知
分类,如若与group0的重心距离较近则属于group0,反之亦然。各类重心在空间中的
坐标位置如表4.4所示。
表4.4 各类重心处的费希尔判别函数值
用bayes判别法建立判别函数与判别规则,由于此题中假设各类出现的先验概率相等且误判造成的损失也相等,所以距离判别法与bayes判别完全一致。
如表4.5所示,group栏中的每一列表示样品判入相应列的Bayes判别函数系数。由此可得,各类的Bayes判别函数如下:
G0,,118.693,0.340X1,94.070X2,1.033X3,4.943X4,2.969X5,13.723X6,10.994X7,37.504X8
G1,,171.296,0.184X1,126.660X2,1.874X3,6.681X4,3.086X5,17.182X6,7.133X7,49.116X8
表4.5 Bayes判别函数系数
将各样品的自变量值代入上述两个Bayes判别函数,得到两个函数值。比较这两个函数值,哪个函数值比较大就可以判断该样品该判入哪一类。
2) 在判别结果的Casewise Stastics表中容易查到该客户属于group0,信用好。
4.10 从胃癌患者、萎缩性胃炎患者和非胃炎患者中分别抽取五个病人进行四项生化指标的化验:血清铜蛋白、蓝色反应、尿吲哚乙酸和中性硫化物,数据见XXXX,,,,,,,,1234下表。试用距离判别法建立判别函数,并根据此判别函数对原样本进行回判。
XXXX 类别 病人序号 1234
1 228 134 20 11
2 245 134 10 40 胃
癌3 200 167 12 27 患4 170 150 7 8 者
5 100 167 20 14
6 225 125 7 14
7 130 100 6 12 胃萎炎8 150 117 7 6 缩患性 9 120 133 10 26 者
10 160 100 5 10
11 185 115 5 19
非12 170 125 6 4 胃
13 165 142 5 3 炎
患14 135 108 2 12 者 15 100 117 7 2
解:令胃癌患者、萎缩性胃炎患者和非胃炎患者分别为group1、group2、group3,由于此题中假设各类出现的先验概率相等且误判造成的损失也相等,所以距离判别法与bayes判别完全一致。用spss的解题步骤如下:
1.在SPSS窗口中选择Analyze?Classify?Discriminate,调出判别分析主界面,将左边的变量
列表中的“group”变量选入分组变量中,将X、X、XX变量选入自变量中,并选择Enter 、1234
independents together单选按钮,即使用所有自变量进行判别分析。
2.点击Define Range按钮,定义分组变量的取值范围。本例中分类变量的范围为1到3,所以在最小值和最大值中分别输入1和3。单击Continue按钮,返回主界面。 3.单击Statistics…按钮,指定输出的描述统计量和判别函数系数。选中Function Coefficients
栏中的Fisher’s:给出Bayes判别函数的系数。
4.单击Classify…按钮,弹出classification子对话框,选中Display选项栏中的Summary table复选框,即要求输出错判矩阵,以便实现题中对原样本进行回判的要求。 5.返回判别分析主界面,单击OK按钮,运行判别分析过程。
根据判别分析的结果建立Bayes判别函数:
Bayes判别函数的系数见表4.6。表中每一列表示样本判入相应类的Bayes判别函数系数。由此可建立判别函数如下:
Group1: Y1,,79.212,0.164X1,0.753X2,0.778X3,0.073X4
Group2: Y2,,46.721,0.130X1,0.595X2,0.317X3,0.012X4
Y3,,49.598,0.130X1,0.637X2,0.100X3,0.059X4Group3:
将各样品的自变量值代入上述三个Bayes判别函数,得到三个函数值。比较这三个函数值,哪个函数值比较大就可以判断该样品判入哪一类。
表4.6 Bayes判别函数系数
根据此判别函数对样本进行回判,结果如表4.7。从中可以看出在5个胃癌患者中,有4个被正确地判定,有1个被错误地判定为非胃炎患者,正确率为80%。在5个萎缩性胃炎患者中,有4个被正确判定,有1个被错误地判定为非胃炎患者,正确率为80%。在5个非胃炎患者中,有4个被正确判定,有1个被错误地判为萎缩性胃炎患者。整体的正确率为80.0%。
表4.7 错判矩阵