第 2 章：最小二乘拟合

目录

• 2.1 拟合函数
• 2.2 多项式拟合
• 2.3 矛盾方程组

2.1拟合函数

问题的提出：考察某种纤维的强度与其拉伸倍数的关系，下表是实际测定的24个纤维样品的强度与相应的拉伸倍数

编号	拉伸倍数 \(( x_i )\)	强度 \(( y_i )\)	编号	拉伸倍数 \(( x_i )\)	强度 \(( y_i )\)
1	1.9	1.4	13	5	5.5
2	2	1.3	14	5.2	5
3	2.1	1.8	15	6	5.5
4	2.5	2.5	16	6.3	6.4
5	2.7	2.8	17	6.5	6
6	2.7	2.5	18	7.1	5.3
7	3.5	3	19	8	6.5
8	3.5	2.7	20	8	7
9	4	4	21	8.9	8.5
10	4	3.5	22	9	8
11	4.5	4.2	23	9.5	8.1
12	4.6	3.5	24	10	8.1

24个点大致分布在一条直线附近

因此可以认为强度y与拉伸倍数x的主要关系是线性关系

\[y=a_0+a_1x \]

其中\(a_0,a_1\)为待定参数

曲线拟合

定义：设函数\(y=f(x)\)在区间\([a,b]\)上有定义，其已知在点\(a≤x_1＜x_2<...<x_n≤b\)上的值\(y_1.y_2,...,y_n\),求一个简单函数\(φ(x)\),使得拟合节点的距离或误差最小

• 1-范数意义下的误差：

\[R_1 = \sum_{i=1}^{n} |\varphi(x_i) - y_i| \]

• 最大范数意义下的误差

\[R_{\infty} = \max_{1 \leq i \leq n} |\varphi(x_i) - y_i| \]

• 2-范数意义下的误差（均方误差）

\[R_2 = \sum_{i=1}^{n} (\varphi(x_i) - y_i)^2 \]

按均方误差达到极小构造拟合曲线的方法称为最小二乘法

2.2多项式拟合

线性拟合

二次拟合

其中：

\[\begin{pmatrix} n & \sum_{i=1}^{n} x_i & \sum_{i=1}^{n} x_i^2 \\ \sum_{i=1}^{n} x_i & \sum_{i=1}^{n} x_i^2 & \sum_{i=1}^{n} x_i^3 \\ \sum_{i=1}^{n} x_i^2 & \sum_{i=1}^{n} x_i^3 & \sum_{i=1}^{n} x_i^4 \end{pmatrix} \begin{pmatrix} a_0 \\ a_1 \\ a_2 \end{pmatrix} = \begin{pmatrix} \sum_{i=1}^{n} y_i \\ \sum_{i=1}^{n} x_i y_i \\ \sum_{i=1}^{n} x_i^2 y_i \end{pmatrix}\]

• 系数矩阵对称，但n＞5时系数矩阵是病态的

例子：

在这个例子中，法方程组的系数矩阵

• 注：矩阵条件数的求法：
  • 
• 补充：矩阵求逆
  • 二阶矩阵
    • 

的条件数\(Cond_2(A) = 50165.04\)，是一个病态矩阵，一般在进行多项式拟合时，法方程组往往是病态的。尤其是当拟合函数的次数越高，方程组的病态性越严重，因此必须采用具有更高数值稳定性的计算方法来解决这个问题
目前，克服法方程组的病态性问题的主要方法包括：

• 尽量采取低次拟合
• 把数据节点的分布区间向原点平移，以减少节点与原点的距离
• 把数据节点的分布区间作缩放处理，减少节点间的数量级差异
• 采用正交多项式拟合

例题：

• 用最小二乘法求形如 \(y=ae^{bx}\)的拟合曲线
  • 作对数变换\(z=lny\)
  • \(z=A+Bx\)
  • 
  • 

部分非线性组合函数转化为线性组合函数的方法：

2.3矛盾方程组

• 给定数据序列\((x_i,y_i)，i=(1,2,...,n)\)，作拟合直线\(p(x)\)经过这些点

\[p(x_i) = a+a_ix_i=y_i,i=1,2,...,n \]

n个方程，两个未知量

矛盾方程组：寻求其在均方误差\(min||AX-b||_2^2\)极小意义下的解

解矛盾方程组

• 对于一般的矛盾方程组
  

• 矛盾方程组的最小二乘解：
  定理 3.1：

1. A为m行n列的矩阵，b为列向量，\(A^TAX=A^Tb\)称为矛盾方程组AX=b的法方程，法方程恒有解
2. X是\(min||AX-b||_2^2\)的解，当且仅当X满足\(A^TAX=A^Tb\)，即X是法方程的解

例：解矛盾方程组

\[\left\{ \begin{array}{l} x_{1} + x_{2} + x_{3} = 2 \\ x_{1} + 3x_{2} - x_{3} = -1 \\ 2x_{1} + 5x_{2} + 2x_{3} = 1 \\ 3x_{1} - x_{2} + 5x_{3} = -2 \end{array} \right.\]

• 解：法方程为：

\[\begin{pmatrix} 15 & 11 & 19 \\ 11 & 36 & 3 \\ 19 & 3 & 31 \end{pmatrix} \begin{pmatrix} x_1 \\ x_2 \\ x_3 \end{pmatrix} = \begin{pmatrix} -3 \\ 6 \\ -5 \end{pmatrix}\]

\[解得 x_1 = 1.5917,x_2 = 0.5899,x_3 = 0.7572 \]

• 例题