Levenberg-Marquardt优化和zipf分布

最近审论文和看报告中遇到LM优化和齐普夫分布，于是查了一下。

LM方法是高斯牛顿迭代方法的改进，下面分别是高斯牛顿、齐普夫方法的公式：

Δ=−(J_f^TJ_f)⁻¹J_f^Tf，Δ=−(J_f^TJ_f+λI)⁻¹J_f^Tf

即下降太快，使用较小的λ，更接近高斯牛顿

即下降太慢，使用较大的λ，更接近梯度下降

而且齐普夫方法适用于词频分布或长尾分布