01 2017 档案

《机器学习基石》---过拟合风险
摘要：1 产生过拟合的三个原因 过拟合就是Ein很小，而Eout很大的情况。产生过拟合的三个原因是，使用了过大的VC维，噪声，数据量太小： 2 如何解决过拟合 （1）从简单的model开始做； （2）数据清理／裁剪： （3）收集更多的数据； （4）数据提示； （5）正则化（后面介绍）； （6）验证（后面介 阅读全文
posted @ 2017-01-24 13:38 coldyan 阅读(375) 评论(0) 推荐(0)
《机器学习基石》---非线性变换
摘要：1 非线性变换 所谓非线性变换，就是把原始的特征做非线性变换，得到一个新的特征，使用这个新的特征来做线性的分类，则对应到原始的特征空间中，相当于做了非线性的分类。非线性变换的好处是，算法将有更多的选择，Ein可以做的更低。 例如使用二次变换： 则Z空间中的一个直线分类边界，对应到原来空间中是一个二次 阅读全文
posted @ 2017-01-24 11:21 coldyan 阅读(4647) 评论(0) 推荐(0)
《机器学习基石》---Linear Models for Classification
摘要：1 用回归来做分类 到目前为止，我们学习了线性分类，线性回归，逻辑回归这三种模型。以下是它们的pointwise损失函数对比（为了更容易对比，都把它们写作s和y的函数，s是wTx，表示线性打分的分数）： 把这几个损失函数画在一张图上： 如果把逻辑回归的损失函数ce做一个适当的放缩，则可以得到下图： 阅读全文
posted @ 2017-01-21 20:00 coldyan 阅读(557) 评论(0) 推荐(0)
leetcode bug free
摘要：不包含jiuzhang ladders中出现过的题。如出现多个方法，则最后一个方法是最优解。 目录： 1 String 2 Two pointers 3 Array 4 DFS && BFS 5 Math 6 Dynamic Programming 7 Data Structure 8 Binary 阅读全文
posted @ 2017-01-20 14:18 coldyan 阅读(570) 评论(0) 推荐(0)
《机器学习基石》---线性回归
摘要：1 模型定义 错误衡量使用平方错误： 注：这里Eout计算是在考虑噪声的情况下，可以将x和y看作满足一个联合概率分布。 2 线性回归算法 先把训练集误差Ein推导成矩阵形式： 即： 可以证明Ein关于w是连续，可微的凸函数，因此最小的点就在梯度为0的地方，那么剩下的问题就是来求梯度为0的w： 先把E 阅读全文
posted @ 2017-01-19 08:56 coldyan 阅读(596) 评论(0) 推荐(0)
九章最重要的几个点
摘要：1 (1) coding style（要想bug free最有效方法是锻炼coding style）： a 函数名：名字取得长一点没关系，重点是要通过名字能一眼看出来函数做什么； 函数名不要文不对题，比如check..这种一般要返回boolean； b 能用函数返回的子逻辑尽量写函数，增加代码可读性 阅读全文
posted @ 2017-01-17 18:44 coldyan 阅读(241) 评论(0) 推荐(0)
《机器学习基石》---噪声和错误
摘要：1 有噪声情况下的机器学习过程 由一个条件概率来产生数据的标签y，相当于一个确定函数加上噪声： 2 错误衡量方式 这里我们介绍pointwise的错误衡量方式。所谓point wise就是可以对于一个点计算它的错误。 常见的有两种pointwise错误衡量方式：0/1错误和平方错误： 、 01错误用 阅读全文
posted @ 2017-01-14 23:50 coldyan 阅读(2126) 评论(0) 推荐(0)
《机器学习基石》---VC维
摘要：1 VC维的定义 VC维其实就是第一个break point的之前的样本容量。标准定义是：对一个假设空间，如果存在N个样本能够被假设空间中的h按所有可能的2的N次方种形式分开，则称该假设空间能够把N个样本打散；假设空间的VC维就是它能打散的最大样本数目N。若对任意N，总存在一组样本使得假设空间能将它 阅读全文
posted @ 2017-01-03 21:13 coldyan 阅读(1997) 评论(0) 推荐(0)
《机器学习基石》---理解机器为什么能学习（二）
摘要：1 回顾 上一节我们证明了，当假设空间的大小是M时，可以得到概率上界： 即，只要训练数据量N足够大，那么训练集上的Ein与真实的预测错误率Eout是PAC（大概率）接近的。 但是，我们上面的理论只有在假设空间大小有限时才成立，如果假设空间无限大，右边的概率上界就会变成无限大。 事实上，右边的边界是一 阅读全文
posted @ 2017-01-03 15:25 coldyan 阅读(488) 评论(0) 推荐(0)
《机器学习基石》---理解机器为什么能学习（一）
摘要：1 Hoeffding不等式 假设有一个罐子装满了橙色和绿色的球，为了估计罐子中橙色和绿色的比例，我们随机抓一把球，称为样本： 其中，设罐子中橙色球的比例为μ，样本中橙色球比例为v，样本的大小为N，我们对真实分布μ和样本分布v的差异容忍度为ε，则有下面的不等式成立： 也就是存在一个概率上界，只要我们 阅读全文
posted @ 2017-01-02 23:05 coldyan 阅读(1264) 评论(0) 推荐(0)
《机器学习基石》---机器学习的类型
摘要：1 从输入空间分类 （1）二元分类问题 （2）多元分类问题 （3）回归问题 （4）structure learning 2 从是否监督分类 （1）有监督学习 （2）无监督学习 聚类 约等于无监督的多元分类 密度估计 约等于无监督的回归分析 异常检测 约等于无监督的二元分类 （3）半监督学习 训练集部 阅读全文
posted @ 2017-01-01 10:54 coldyan 阅读(224) 评论(0) 推荐(0)