Newton-Raphson method

何为"Newton's method"

牛顿法（英语：Newton's method）又称为牛顿-拉弗森方法（英语：Newton-Raphson method），它是一种在实数域和复数域上近似求解方程的方法。方法使用函数的泰勒级数 $f\left( x \right) $ 的前面几项来寻找方程 \(f\left( x \right) =0\) 的根。

方法说明

首先，选择一个接近函数\(f\left(x\right)\) 零点 [ 令\(f\left(x\right)=0)\) 的点] 的 \(x_0\)，计算相应的 \(f\left(x_0\right)\) 和该点的切线斜率，即对该点的函数求导得 \(f'\left( x_0 \right)\) 。然后我们计算穿过点 (\(x_0\), \(f\left(x_0\right)\)) 并且斜率为 \(f'\left(x_0\right)\) 的直线和 \(x\) 轴的交点的横坐标，也就是求如下方程的解 [下面式子也恰好为 \(f\left(x\right)=0\) 的泰勒展开式的前两项 \(f\left( x \right) =f\left( x_0 \right) +f'\left( x_0 \right) \left( x-x_0 \right) =0\)]：

\[0 = \left(x-x_0\right)·f'\left(x_0\right)+f\left(x_0\right) \]

我们将新求得的点横坐标命名为 \(x_1\)，通常 \(x_1\) 会比 \(x_0\) 更接近方程 \(f\left(x\right)=0\) 的解。因此 我们可以利用 \(x_1\) 进行下一轮的迭代。迭代公式可简化为：

\[x_{n+1}=x_n-\frac{f\left( x_n \right)}{f’\left( x_n \right)} \]

图像示例：

示例

求方程 \(\cos \left( x \right) -x^3=0\) 的根。

由于 \(-1\le \cos \left( x \right) \le 1\) ，则 \(-1\le x^3\le 1\) , 即 \(-1\le x\le 1\) ，则 \(0\le \cos \left( x \right) \le 1\) ，因此 \(0\le x^3\le 1\) ，所以 \(0\le x\le 1\)。可知方程得根位于0和1之间。我们可以从 \(x=0.5\) 开始。

令 \(f\left( x \right) =\cos \left( x \right) -x^3\) ，两边求导，得 \(f'\left( x \right) =-\sin \left( x \right) -3x^2\)。

牛顿法 VS 二分法

以求解立方根得问题为例：

解法一

求立方根的问题实际上就是在 1~给定数字 之间找到一个数，让这个数的立方近似等于给定数字，由此转化为了一个查找问题。

def binary_cubic_root(num):
    low = 1
    high = num / 2.0
    mid = low
    while high - low > 0.0001:
        mid = (low + high) / 2.0
        cubic = mid * mid * mid
        if cubic < num:
            low = mid
        elif cubic > num:
            high = mid
        else:
            break
    return mid

解法二

求立方根得问题实际上就是解决 \(x^3-k=0\) 得解，其中 \(k\) 是给定已知得值，转化为牛顿迭代公式为：\(x_{n+1}=x_n-\frac{x_{n}^{3}-k}{3x_{n}^{2}}\) 。

def newton_cubic_root(num):
    # give an approximation of root
    last = num
    new = last - (last * last * last - num) / (3.0 * last * last)
    while abs(new - last) > 0.0001:
        last = new
        new = last - (last * last * last - num) / (3.0 * last * last)
    return new

为什么要用牛顿法？

牛顿迭代法的速度比二分法的速度要快。

    time_1 = time.clock()
    print("binary_search %.4f" % binary_cubic_root(12345678))
    print(time.clock() - time_1)
    time_2 = time.clock()
    print("newton %.4f" % newton_cubic_root(12345678))
    print(time.clock() - time_2)

binary_search 231.1204
3.419999999998424e-05
newton 231.1204
2.5200000000002998e-05

参考

维基百科