摘要：1、原始问题 假设$f(x)$，$c_i(x)$，$h_j(x)$是定义在$R^n$上的连续可微函数，$x \in R^n$。考虑以下三类优化问题。 1、无约束的优化问题： \begin{align*}\mathop{min}\limits_{x \in R^n}f(x)\end{align*} 这 阅读全文

摘要：感知机（perceptron）是二类分类的线性分类模型。其输入为实例的特征（一个特征对应实数，多个特征对应向量）；输出为实例的类别，取+1和-1二值。感知机对应于输入空间中将实例划分为正负两类的分离超平面。 2.1 感知机模型 假设输入空间是$X \subseteq R^{n} $，输出空间$\ma 阅读全文

摘要：最近看Coursera的机器学习课程，第五周讲解反向传播算法（Backpropagation Algorithm）时，部分结论没有给出推导，我这里推导一下。 1、损失函数 1.1、逻辑回归的损失函数 首先复习一下之前学过的逻辑回归的损失函数： $J(\theta) = - \frac{1}{m} \ 阅读全文