2012年8月13日

摘要: 正在等待办理手续,比较慢,总结一下学过的书和想读的书吧。我这个人记性一向不好,尤其是那些不在我体系范围内的,像今天听了一首歌,明天可能就一点想不起来了,包括调调和歌名还有歌手。还经常忘了拿各种东西,把单反借给哥们,结果没拿电源线等等诸如此类。 我肯定是疯了。 正在读的书: lecture notes by Andrew Ng【机器学习】 无图,只好把首张页面放上来了。如果你是一个希望... 阅读全文
posted @ 2012-08-13 16:52 yinxs 阅读(638) 评论(0) 推荐(0)
摘要: basis是一个具有魔力的东西,在数学中就是如此,他可以把一个函数通过基底变换搞成各种不同的样子,例如平面上的一个圆,通过X=,Y=的基坐标转换,可以变成线性函数。 通常情况下的线性分类器如下: 其中公式中的w和b是模型参数,x是特征,这里虽然是线性模型,但是可以通过将x映射为不用的基函数,可以把线性模型的函数直线打造成曲线的样式。在Andrew Ng的课件中,x称为attribute,而... 阅读全文
posted @ 2012-08-13 09:52 yinxs 阅读(402) 评论(0) 推荐(0)

2012年8月12日

摘要: model combination其实是和model selection相似的问题,两者都是在模型的选择和评估上做研究。首先说明学习算法:给定训练集D,使用学习算法A在D上学习一个预测规则。模型选择的目的是,给定这一系列的算法A,如何从中找出一个最好的?评价好坏的标准有两个,一个是可解释性,另一个是效果。显然,两者基本上是成反相关的。简单的模型肯定更加interpretable,但是perform... 阅读全文
posted @ 2012-08-12 17:07 yinxs 阅读(547) 评论(0) 推荐(0)

2012年8月7日

摘要: 机器学习模型总会涉及到模型选择的问题,这是无法避而不见的。在一个模型的fitting function中,不仅存在parameter,还存在hyperparameter。一般来说,超参即是控制模型选择的一个方面。当然,模型选择还依赖于其他,例如在polynomial fitting curve中,不同的多项式的阶数也是模型选择的一个方面。在上图中,我们已知产生训练数据的是一个正弦函数,所以3阶的选择显然是最好的。但是,一般情况下我们是无法观测到产生样本的分布,所以,如何选择模型是关乎准确性的重要方面。我们最终的期望是,通过在训练集上得到一个fitting function,而这个函数在测试集上 阅读全文
posted @ 2012-08-07 20:48 yinxs 阅读(540) 评论(0) 推荐(0)
摘要: 线性分类的最初发展来源于神经细胞,神经细胞接收其他神经元传来的信号,并且在效果叠加之后产生兴奋或者抑制的效果。基于神经细胞的特点,最初人们够早了感知器(perceptron)算法。 感知器的构造非常简单,实际上,它就是一个神经网络(neural network)的一层,而且这一层只有一个感知点。 具体在训练过程中,遇到分类错误的情况就做处罚,改变权值;如果预测是正确的,则不作任何改变。... 阅读全文
posted @ 2012-08-07 00:56 yinxs 阅读(496) 评论(0) 推荐(0)

2012年8月6日

摘要: 数据训练时分为训练集和测试集,在训练集上训练模型得到的误差叫做test err,在测试集上测试得到的误差就做test err。 我们最终的目标是在训练集上的test err足够小,这样表示模型能很好的fit这个类型的数据。 对于上节中的最小二乘问题,有如下等式: 模型复杂度(complexity)即是描述训练误差和测试误差的不同的工具。 泛化(由训练集到测试集)误差:在很大的... 阅读全文
posted @ 2012-08-06 21:48 yinxs 阅读(402) 评论(0) 推荐(0)
摘要: 线性回归问题是机器学习中的基本问题。线性回归模型解决的是给定输入X,返回Y的过程,这里的Y一般都是连续的变量。 从一般的函数观点来看,线性回归就是找到一个函数,通过观测数据x,可以获得解y,而如此得到的对可以对原始数据拟合的很好。 在统计模型来看,有如下公式: 其中W是参数,b是截距,是噪声。X不是普通意义上的自变量,可以看做由自变量构成的一些特征,视为会更合适。所以线性回归使之参数... 阅读全文
posted @ 2012-08-06 21:44 yinxs 阅读(265) 评论(0) 推荐(0)

2012年5月5日

摘要: CSDN上的博客保留了我大学时代的回忆啊,那些比较技术性的文章。现在越来越偏向机器学习方向,也是我兴趣所在之地。想既然喜欢,那就好好做,好好学。看了一些书、公开课,也写了一些程序,要时常写写总结,能写讲出来的,才是真正理解的。以前写过一些东西,但是很多都是直接翻译一下看过的内容,不算自己的理解。现在更多写自己的理解。 阅读全文
posted @ 2012-05-05 22:59 yinxs 阅读(234) 评论(0) 推荐(0)

导航