17 矛盾方程(组)的解---最小二乘法

17 矛盾方程(组)的解---最小二乘法 第十七讲 矛盾方程(组)的解---最小二乘法 一、从实验数据处理谈起 s 设有一组实验数据(t，s)，11 (t，s)，„„，(t，s)，希望由22nn 实验数据拟合给定规律，从而测 出待测量的有关参数。 t s=ctc，假定规律为:，由12 sc,，,tc(i1,2,,n)于存在误差，令 i1i2 t1s,,,,11 ,,,,t1cs,,,,,,212， 则:Ax=b实际无解，或者说A,x,b,,,,,,,,,c,,2,,,, ,,,,t1snn,,,, 矩阵方程Ax=b成为矛盾方程(不自洽、非相容)，虽说无解，但在物理上看，我们需要而且也理当有“解”。怎么办, 一般处理是，定义一种目标函数，例如: n2E(c,c)w(sctc)w0,,,,为加权系数 ,12ii1i2i,i1 2E(c,c)E(c,c)Axb,,使误差最小化。w=1(i=1,n)时 i12122 二、 最小二乘法(解) 对于矛盾方程Ax=b，最小二乘法是求其“解”的一种方法。即 Axbmin,,求使的解。 2 mn，设AC,引理:,A{1,3}由如下方程的通解构成: 1 (1,3)(1,3)(1,3)nm， AXAAA{1,3}{A(IAA)ZZC},,,，,, (1,3)其中，A为A{1,3}中的某个矩阵。 。证:1方程既然相容，设X是其某个解，则 (1,3)(i)AXAAAAAXA{1},,,, H(1,3)H(1,3)(iii)(AX)(AA)AAAXXA{3},,,,, 即方程的解必在A{1,3}中。 。2设X为A的一个{1,3}-逆矩阵，则 iiiHH(1,3)(1,3)AXAAAXAAAX,,，，，， H(1,3)HHH,AAXA，， H(1,3)H,A(AXA)，， H(1,3)(1,3),,AAAA，， (1,3)即，A的{1,3}-逆矩阵必满足方程AX=AA (1,3)？,,A{1,3}AXAA方程的所有解,, ，(1,3)(1,3)nm,A(IAA)ZZC，,,,, (1,3)(1,3)XAIAA)Z,，(,令，则 (1,3)(1,3)(i)AXAAAAAZAAAAZAAXA{1},，,,, (1,3)(1,3)(1,3)H(iii)AXAA(AAAA)ZAA(AX)XA{3},，,,,, (1,3)(1,3)xAb,定理:矩阵方程Ax=b的最小二乘解为 ，其中A为A的 mbC,任何一个{1,3}-逆矩阵，反之，存在X，对于任何均有Xb XA{1,3},成为Ax=b的最小二乘解，则。 证明: Axb(AxPb)(Pbb),,,，,R(A)R(A) ,(AxPb)R(A),(Pbb)(IP)bPbR(A),,,,,,,,,,R(A)R(A)R(A)R(A) 2222所以，， AxbAxPbPbbbPb,,,，,,,R(A)R(A)R(A)2222 2 2AxPb,故取得极小值的条件是x为方程 的解。任Axb,R(A)2 (1,3)(1,3)(1,3)AAP,取一个AA{1,3},，我们知道。而对于xAb,，R(A) (1,3)(1,3)AxAAbPb,,有(但最小二乘解是否一定具有Ab的形式R(A) 呢,) (1,3)AxAAb,方程的通解为 (1,3)(1,3)(1,3)n(1,3)xAAAbyAAyyCyAbz,，,,,，,, (1,3)(1,3)n,，,,Ab(IAA)zzC,, (1,3)显然最小二乘解并不一定都具有Ab的形式。 m(1,3),,,,bC,xXbAbAAb均使x=P反之，若对于，即R(A) (1,3)(1,3),,,,,,b,AXbAAbAXAAXA{1,3}有 推论:x是方程Ax,b的最小二乘解的充要条件是，x为方程HHAAxAb,的解。 xAxPb为最小二乘解,,证:，而bPbPb,，，故 HR(A)R(A)N(A) HHxAxbPbN(A)A(Axb)0为最小二乘解,,,,,,,,HN(A) 最小二乘解一般不唯一。 三、 极小范数最小二乘解 mnm，，AAC,bC,,定理2 :设 ，则x,b是方程Ax,b的极小范数 nm，mXC,bC,最小二乘解。反之，若存在，若对于所有，x,Xb均 ，A成为方程Ax,b的极小范数最小二乘解，则X,。 (1,3)证:最小二乘解满足Ax,AAb，其极小范数解唯一，且为 (1,4)(1,3)，mx,A(AAb),Ab,,bC,Xb，反之，均成为唯一的极小范数 ，，AAb最小二乘解，所以:X,。 3 定理3:矩阵方程AXB,D的极小范数最小二乘解唯一，且为 ，，X,ADB 证明略(教材P86) 作业:P343,344，1，2，5 4