摘要：Linear & Ridge Regression 对于$n$个数据$\{(x_1,y_1),(x_2,y_2),\cdots,(x_n,y_n)\},x_i\in\mathbb{R}^d,y_i\in\mathbb{R}$。我们采用以下矩阵来记上述数据：\begin{equation}\math... 阅读全文

摘要：Jordan Lecture Note-3：梯度投影法 在这一节，我们介绍如何用梯度投影法来解如下的优化问题： \begin{align} \mathop{\min}&\quad f(x)\nonumber\\\mathop{s.t.}&\quad \mathbf{A}_1 x\leq b_1\no 阅读全文

摘要：Maximal Margin Classifier Logistic Regression 与 SVM 思路的不同点：logistic regression强调所有点尽可能远离中间的那条分割线，而SVM则强调最靠近分割线的点于分割线的距离仅可能的远。定义间隔函数：$\hat{r}^{(i)}=y^{(i)}(w^\prime x^{(i)}+b)$。当$y^{(i)}=1$时，$w^\prime x^{(i)}+b>0$；当$y^{(i)}=-1$时，$w^\prime x^{(i)}+b0$。 注意，同时扩大$w,b$，那么所有点的间隔都会扩大相同倍数，这并不影响问题的求解。定义样本的 阅读全文

摘要：Jordan Lecture Note-1： Introduction 第一部分要整理的是Jordan的讲义，这份讲义是我刚进实验室时我们老师给我的第一个任务，要求我把讲义上的知识扩充出去，然后每周都要讲给他听。如果有需要这份讲义的话，请留言，我会用邮件发给你。 首先，我来说说机器学习这个东西。刚进实验室，我根本连什么是机器学习都不知道，听到这个名词后的第一反应是机器人，心想估计是搞硬件的。后来才发现其实机器学习更偏向于后面两个字，也就是“学习”。打个不恰当的比方吧，人类在婴儿时期，还无法对世上的东西进行识别，比如小汽车跟货车有什么区别？这时，婴儿的父母就会指着小汽车对他说，这是个小汽车... 阅读全文

摘要：一直以来都想开通一个博客来记录自己上研究生以来的学习过程，可每次都因为各种事情而耽搁着，总是以当前的事情为借口将其推迟，归根结底还是自己太懒了。考上研究生后，我莫名其妙的选择了机器学习这个方向，还好接触后对这个方向也蛮喜欢，所以也稍有点动力去学习它。我自认为不是一个特别勤奋，特别聪明的人，但这一年多来，我还是看了不少有关机器学习的书籍和论文，也做了不少相关的笔记，只可惜这些笔记都是手写的。而开通这个博客的主要目的也是将我的这些手写笔记整理成一篇篇博客，一来方便以后自己查阅；二来可以整理一下自己学习过的知识点；三来可以接受各位大牛的指点，以提高自己的水平。 虽然我主要学习的方向是boos... 阅读全文