摘要：在Machine Learning的Regression Problem中，常用Quadratic Function来做Cost Function，用以表征Hypothesis与Y之间的差距。而通过Gradient Descent来不断调整参数，从而缩小这个Gap从而训练我们的算法。 而在Neura 阅读全文

摘要：经过上一篇的推导，我们的优化问题已经化为了如下等价形式： 我们在不考虑任何约束条件的情况下去想这个minimize的问题，可以将其抽象为： SMO算法的思想是，每次迭代，只改变一个参数，而将n-1个参数固定住，循环往复只到达到我们期望。但在SVM的等式条件里，如果将n-1个参数都固定住了，也就相当于 阅读全文

摘要：很多材料上面讲道“引入Soft Margin的原因是因为数据线性不可分”，个人认为有些错误，其实再难以被分解的数据，如果我们用很复杂的弯弯绕曲线去做，还是可以被分解，并且映射到高维空间后认为其线性可分。但如果我们细细思考，其实很多算法都有一样的索求：寻求一种之于“最大限度拟合训练集”and“获得更好 阅读全文

摘要：之前我们分析Logistic Regression，通过求p(y|x)来判定数据属于哪一个输出分类，这种直接判定的方法称为Discriminative Learning Algorithms，但还有另一种思路去接此问题，称为Generative Learning Algorithms，其中包括本文要 阅读全文

摘要：在上篇文章《Support Vector Machine(1):线性可分集的决策边界》中，我们最后得到，求SVM最佳Margin的问题，转化为了如下形式： 到这一步后，我个人又花了很长的时间去查阅资料，因为数学较差的原因，理解起来相当慢，不过探索的乐趣也就在于不断的打破瓶颈向前，OK继续。上述的问题 阅读全文