凸优化(一)

现在开始学习凸优化课程，一共8次课，一星期一次课，每次课的当周将当节课的内容总结一下，不懂的问题弄明白。

课程的PPT见 （ http://www.cs.zju.edu.cn/people/qianhui/opt.html）

这节课主要讲了如下内容：

• 优化与机器学习
  • 机器学习（有监督）Paradigm (范式)
  • 经验最小化风险 （分类与回归的区别）
  • 分类问题举例 （从数学角度分析了SVM的原理）
  • 最大似然估计
• 数值方法的性能
  • 算法的性能
  • 常规的迭代方法 (iterative scheme)
  • 复杂性和Oracle
• 全局优化的complexity bounds
  • N-dimensinal Box Constraint Problem
  • Upper Complexity Bound of UG
  • Lower Complexity Bound for The Problem Class
• 松弛 (relaxation) 和近似
  • 松弛和近似
  • 一阶近似
  • 二阶近似

 

除此之外，很有一些基本的概念：

无穷范数或者最大范数：

${\left\| x \right\|_\infty } = \mathop {\max \left| {{x^{(i)}}} \right|}\limits_{1 \le i \le n} $

Lipschitz 连续