摘要：我们已经知道梯度下降的每一次迭代可以看作求\(\hat f(x)=f(x_k)+\lang \nabla f(x_k),x-x_k\rang+\dfrac{1}{2\eta}\|x-x_k\|^2\)的最小值，而\(\hat f(x)\)的选取其实并不是唯一的，换言之我们不一定要选取二次函数。二次函 阅读全文

摘要：对于在\(g_i(x)=0,h_i(x)\leq 0\)的约束下最小化\(f(x)\)的问题（并不要求convex），我们有Lagrange函数\(L(\vec x,\vec \lambda,\vec \mu)=f(\vec x)+\vec\lambda^\top \vec g(\vec x)+\v 阅读全文

摘要：在这一部分我们讨论有条件约束的凸优化问题。其中，根据凸优化问题的定义，约束必须是仿射的。 Karush–Kuhn–Tucker Conditions(KKT Conditions) 在数学分析中我们得到了对于函数\(f(x)\)和一系列等式约束\(h_i(x)=0,i \in [k]\)，\(x\) 阅读全文

摘要：在这一部分我们的目标是求出凸函数的最小值。一般来说，只要我们能解出方程\(\nabla f(x)=0\)我们就能求出最小值点。然而很多时候这一方程的封闭解是不存在的，这要求我们用其它的手段来求最小值。 梯度下降(Gradient Descent) 在线性规划的单纯形法中我们注意到每次移动到一个更优值 阅读全文

摘要：凸集 对于点集\(C\)，如果\(\forall x,y \in C\)满足以\(x,y\)为端点的线段都落在\(C\)内，就称\(C\)为凸集。以\(x,y\)为端点的线段写成方程的形式是\(u=x+\theta(y-x)\)，\(\theta \in [0,1]\)。因此“线段落在\(C\)内” 阅读全文