ASenVJ

摘要： 正在等待办理手续，比较慢，总结一下学过的书和想读的书吧。我这个人记性一向不好，尤其是那些不在我体系范围内的，像今天听了一首歌，明天可能就一点想不起来了，包括调调和歌名还有歌手。还经常忘了拿各种东西，把单反借给哥们，结果没拿电源线等等诸如此类。 我肯定是疯了。 正在读的书： lecture notes by Andrew Ng【机器学习】 无图，只好把首张页面放上来了。如果你是一个希望... 阅读全文

摘要： basis是一个具有魔力的东西，在数学中就是如此，他可以把一个函数通过基底变换搞成各种不同的样子，例如平面上的一个圆，通过X=，Y=的基坐标转换，可以变成线性函数。 通常情况下的线性分类器如下： 其中公式中的w和b是模型参数，x是特征，这里虽然是线性模型，但是可以通过将x映射为不用的基函数，可以把线性模型的函数直线打造成曲线的样式。在Andrew Ng的课件中，x称为attribute，而... 阅读全文

摘要： model combination其实是和model selection相似的问题，两者都是在模型的选择和评估上做研究。首先说明学习算法：给定训练集D，使用学习算法A在D上学习一个预测规则。模型选择的目的是，给定这一系列的算法A，如何从中找出一个最好的？评价好坏的标准有两个，一个是可解释性，另一个是效果。显然，两者基本上是成反相关的。简单的模型肯定更加interpretable，但是perform... 阅读全文

摘要： 机器学习模型总会涉及到模型选择的问题，这是无法避而不见的。在一个模型的fitting function中，不仅存在parameter，还存在hyperparameter。一般来说，超参即是控制模型选择的一个方面。当然，模型选择还依赖于其他，例如在polynomial fitting curve中，不同的多项式的阶数也是模型选择的一个方面。在上图中，我们已知产生训练数据的是一个正弦函数，所以3阶的选择显然是最好的。但是，一般情况下我们是无法观测到产生样本的分布，所以，如何选择模型是关乎准确性的重要方面。我们最终的期望是，通过在训练集上得到一个fitting function，而这个函数在测试集上 阅读全文

摘要： 线性分类的最初发展来源于神经细胞，神经细胞接收其他神经元传来的信号，并且在效果叠加之后产生兴奋或者抑制的效果。基于神经细胞的特点，最初人们够早了感知器（perceptron）算法。 感知器的构造非常简单，实际上，它就是一个神经网络（neural network）的一层，而且这一层只有一个感知点。 具体在训练过程中，遇到分类错误的情况就做处罚，改变权值；如果预测是正确的，则不作任何改变。... 阅读全文

摘要： 数据训练时分为训练集和测试集，在训练集上训练模型得到的误差叫做test err，在测试集上测试得到的误差就做test err。 我们最终的目标是在训练集上的test err足够小，这样表示模型能很好的fit这个类型的数据。 对于上节中的最小二乘问题，有如下等式： 模型复杂度（complexity）即是描述训练误差和测试误差的不同的工具。 泛化（由训练集到测试集）误差：在很大的... 阅读全文

摘要： 线性回归问题是机器学习中的基本问题。线性回归模型解决的是给定输入X，返回Y的过程，这里的Y一般都是连续的变量。 从一般的函数观点来看，线性回归就是找到一个函数，通过观测数据x，可以获得解y，而如此得到的对可以对原始数据拟合的很好。 在统计模型来看，有如下公式： 其中W是参数，b是截距，是噪声。X不是普通意义上的自变量，可以看做由自变量构成的一些特征，视为会更合适。所以线性回归使之参数... 阅读全文

摘要： CSDN上的博客保留了我大学时代的回忆啊，那些比较技术性的文章。现在越来越偏向机器学习方向，也是我兴趣所在之地。想既然喜欢，那就好好做，好好学。看了一些书、公开课，也写了一些程序，要时常写写总结，能写讲出来的，才是真正理解的。以前写过一些东西，但是很多都是直接翻译一下看过的内容，不算自己的理解。现在更多写自己的理解。 阅读全文