摘要：学校有一门课叫《应用运筹学基础》，是计算机学院唯一教优化的课程，感觉上得还行，这里简单记录一下上课学到的知识。第一节课是线性规划（linear programming）。 阅读全文

摘要：在阅读 The Elements of Statistical Learning 第三章的时候，有一个式子我没有弄明白：设 $Y = X\beta + \epsilon$，其中 $\epsilon$ 的均值为 0，方差为 $\sigma^2$；再设 $X$ 是 $N \times (p+1)$ 的矩阵（每条训练样本含常数项 1），那么对 $\sigma^2$ 的无偏估计是 $$\hat{\sigma}^2 = \frac{1}{N-p-1}\sum_{i=1}^N(y_i-\hat{y}_i)^2$$ 其中 $\hat{Y} = X\hat{\beta}$，$\hat{\beta}$ 是用 least square 得到的参数。 阅读全文

摘要：最近看了 Andrew Ng 机器学习课程的学习理论部分，同时也开始看 The Elements of Statistical Learning，简单整理一下有关学习理论的内容。这篇博客将简单介绍期望泛化损失（expected prediction loss）、经验损失（empirical loss）以及两者之间的关系，还会介绍 bias-variance tradeoff。 阅读全文

摘要：第一次参加实验室的组会，实验室的史学长给大家简单分享了一个研究方向：社交网络中的信息传播，感觉讲得非常棒。这里简单记录一下这个方向的要解决的问题与解决方案。 阅读全文

摘要：学习了一些机器学习的算法，总想找个地方用一用试一试。上网搜索了一番，发现了 Kaggle 这个网站，是各种企业举办机器学习竞赛的地方。Kaggle 上有一个入门级的数据集，要我们通过分析泰坦尼克号上乘客的信息，来判断他们是否获救。 阅读全文

摘要：支持向量机是一种分类模型。模型认为，离分类超平面越远的点，判定结果越准确，所以模型的训练目标就是让离分类超平面最近的样本点距离最大。我们先从最基本的线性可分支持向量机（硬间隔支持向量机）开始推导，之后再推广到可以容纳一定误分类点的线性支持向量机（软间隔支持向量机），最后介绍核函数与 SMO 算法。 阅读全文

摘要：在学习支持向量机（SVM）的过程中遇到了拉格朗日对偶问题与 KKT 条件，这里简单介绍一下拉格朗日对偶问题的推导。 阅读全文