Introduction: Why Optimization?

在接触凸优化课程当中十分感到头疼，所以在网上搜寻各种资源，发现一位前辈撰写的自己学习凸优化的过程。

我的凸优化学习之路 | 韩鼎の个人网站

于是想也要慢慢啃下这块难啃的骨头。

引言：为什么要优化？

主要原因是在机器学习和数据分析中所做的一切几乎都和优化有关系，如何将概念转化为优化问题

优化P是我们的主要目标，事实上，前人已经给出了不少比较不错的优化方法，那为什么我们还需要学习这门课程呢

原因如下：

• 不同的算法在不同的问题上的表现可能存在极大程度的区别
• 从优化角度去理解P会让你对自己正在开展的工作有个更深入的理解
• 优化的知识会促使自己想出一个更好的P来解决问题，而不是只关注与如何解决P

举例说明：线性趋势滤波算法

                       (a)                                             (b)                                            (c)                                             (d)

                                                                  Primal-dual                         Proximal gradient                   Coordinate descent

足以说明：不同算法在不同的问题背景下的效果是不同的

该算法的典型优化形式为：

该方法最早由Kim提出

Kim, S.-J., Koh, K., Lustig, M., Boyd, S., & Gorinevsky, D. (2009). An interior-point method for large-scale l1-regularized least squares. IEEE Journal on Selected Topics in Signal Processing.

An Interior-Point Method for Large-Scale --Regularized Least Squares | IEEE Journals & Magazine | IEEE Xplore