数值分析作业
最小二乘法
最小二乘法是提供“观测组合”的主要工具之一,它依据对某事件的大量观测而获得“最佳”结果或“最可能”表现形式。如已知两变量为线性关系y= a+ bx，对其进行n(n> 2)次观测而获得n对数据。若将这n对数据代入方程求解a，b之值则无确定解。最小二乘法提供了一个求解方法,其基本思想就是寻找“最接近”这n个观测点的直线。最小二乘法不仅是19世纪最重要的统计方法,而且还可以称为数理统计学之灵魂。相关回归分析、方差分析和线性模型理论等数理统计学的几大分支都以最小二乘法为理论基础。作为其进一步发展或纠正其不足而采取的对策,不少近现代的数理统计学分支也是在最小二乘法基础上衍生出来的。正如美国统计学家斯蒂格勒(S.M. Stigler)所说,“最小二乘法之于数理统计学犹如微积分之于数学”
最小二乘法创立的历史过程充满着丰富的科学思想,这些对今日的数学创造仍有着重要的启示意义。本文旨在全面认识最小二乘法的历史系统发育过程以及创立者的思路。
一 先驱者的相关研究
天文学和测地学的发展促进了数理统计学及其他相关科学的发展。丹麦统计史家哈尔德曾指出天文学在数理统计学发展中所起的作用。“天文学自古代至18世纪是应用数学中最发达的领域。观测和数学天文学给出了建立数学模型及数据拟合的最初例子,在此种意义下,天文学家就是最初的数理统计学家。天文学的问题逐渐引导到算术平均,以及参数模型中的种种估计方法,以最小二乘法为顶峰。”这也说明了最小二乘法的显著地位。
有关统计计算思想记载的著作要首推天文学家罗杰柯茨的遗作,即1715年其所发论文中所蕴含的统计方法,亦即对各种观测值赋予加权后求其加权平均。尽管当时得到认可,然而事实证明如此计算的结果不太精确。
1749年,欧拉(L. Euler,1707— 1783)在研究木星和土星之间相互吸引力作用对各自轨道影响时,最后得到一个含8个未知量75个方程的线性方程组。欧拉的求解方法繁杂而奇特,只能看作是一次尝试。
1750年,天文学家梅耶(T. Meiyer, 1723—1762)通过对月球表面上某定点的观测,得到一含3个未知数27个方程的线性方程组。以其中一个方程系数为准,按各
1
方程中此系数的大小分组,较大的9个、较小的9个和剩下的9个分别组成一组。每组内的9个方程相加,得到一个方程。由得到的3个方程而求解3个未知数。梅耶认为,如此所得解之误差比任意选3个方程而求解之误差要小得多,仅为其3 /27= 1 /9(实际上应为1 /9= 1 /3)。由此他得出解类似方程组的一套系统方法,并曾一度相当流行。直到1760年,罗杰博斯科维奇(1711—1787)在研究地球真实形状的有关问题时才指出其不足。他认为梅耶确定方程组解的方法还不够精确,应充分满足实际准则,其中包括把一组观测值代入方程组时所产生误差的绝对值之和极小化准则。
1787年,拉普拉斯(P. S. Laplace,1749— 1827)在研究天文学时,得到一个含有4个未知数24个方程的线性方程组。其求解方法与梅耶相似,先把24个方程编号,然后得出4个方程,以便解出4个未知数。
二 最小二乘法的证明
1 问题的引入
例 已知某种材料在生产过程中的废品率 y 与某种化学成分 x有关。 下列
表中记载了某工厂生产中 y 与相应的 x 的几次数值：
我们想找出 y 对 x 的一个近似公式。
解 把表中数值划出图来看， 发现它的变化趋势近于一条直线。因此我们决定选取 x 的一次式 ax+b 来表达。 当然最好能选到适当的a，b 使下面的等式 3.6a+b-1.00=0 3.7a+b-0.9=0 3.8a+b-0.9=0 3.9a+b-0.81=0 4.0a+b-0.60=0 4.1a+b-0.56=0 4.2a+b-0.35=0
都成立。 实际上是不可能的，任何 a，b 代入上面各式都会发生误差。 于
2
是想找 a，b 使上面各式的误差的平方和最小，即找到 a，b 使
(3.6a+b-1.0)2+(3.7a+b-0.9)2+(3.8a+b-0.9)2+(3.9a+b-0.81)2+(4.0a+b-0.60)2+(4.1a+b-0.56)2+(4.2a+b-0.35)2
最小。这里讨论的是误差的平方即二乘方，故称为最小二乘法。现在转向为一般的最小二乘法问题： 实系数线性方程组
1.1
可能无解。 即任何一组实数
都可能使
不等于零。
（*） 我们设法找到实数组使最小，这样的称为方程
组的最小二乘解。 这样问题就叫最小二乘法问题。
2 最小二乘法原理的证明
2.1 最小二乘法原理的初等证明 定理：是 X 是方程组
是矛盾方程组（1.1）的最小二乘解的充要条件
2.2
的解
3
