数值计算

数值计算

上溢和下溢

softmax函数

\[softmax(x_i) = \frac{exp(x_i)}{\sum_{j=1}^{n}exp(x_j)} \]

差条件（poor conditioning）

条件（conditioning）指的是函数在输入产生很小变化时自身所改变的速度。当函数变化非常迅速而它们的输入只是轻微扰动，那么这对于科学计算来说是有问题的，因为输入的rounding误差会导致输出发生很大的变化。

网上的参考信息：对于一个线性方程Ax=b，当系数矩阵A一个很小的扰动只引起解向量x很小的扰动时，就称矩阵A是“良态”矩阵（well-conditioned matrix）。若系数矩阵A一个很小的扰动会引起解向量x很大的扰动，则称矩阵A是“病态”矩阵（ill-conditioned matrix）。条件数刻画了求解线性方程时，误差经过矩阵A的传播扩大为解向量的误差的程度，因此是衡量线性方程数值稳定性的一个重要指标。

考虑函数\(f(x)=A^{-1}x\)，当\(A \in \Bbb{R}^{n \times n}\)有特征分解，它的条件数为：

\[\max_{i,j} |\frac{\lambda_i}{\lambda_j}| \]

这是最大、最小特征值振幅的比例。当这个比例很大的时候，逆矩阵对输入误差非常敏感。

这种敏感是矩阵自身内部的属性，而不是在矩阵求逆时rounding误差的结果。

基于梯度的优化

这部分内容参考优化器。

• Jacobian Matrices和Hessian Matrices

约束优化（constraint optimization）

• KKT和通用拉格朗日函数

Linear Least Squares

略