随笔分类 -  机器学习基石-笔记

机器学习基石笔记16——机器可以怎样学得更好（4）
摘要：Lecture 16 : Three Learning Principles 16.1 Occam's Razor 16.2 Sampling Bias 16.3 Data Snooping 16.4 Power of Threee 题外话： 阅读全文
posted @ 2017-12-25 10:52 tmortred 阅读(148) 评论(0) 推荐(0)
机器学习基石笔记15——机器可以怎样学得更好（3）
摘要：Lecture 15： Validation 15.1 Model Selection Problem 略过！ 用 Ein 来选择模型不靠谱，要用验证集 15.2 Validation 略过！ 15.3 Leave-one-out Cross Validation 现在还有一个问题，Eloocv 是 阅读全文
posted @ 2017-12-25 10:49 tmortred 阅读(279) 评论(0) 推荐(0)
机器学习基石笔记14——机器可以怎样学得更好（2）
摘要：Lecture 14：Regularization 14.1 Regularized Hypothesis Set 上节课，我们提到了过拟合是机器学习中最危险的事情。本节我们讨论用 regularization 来抑制过拟合（一般课程将 regularization 翻译为正则化，但是在《技法》中还 阅读全文
posted @ 2017-12-25 10:45 tmortred 阅读(284) 评论(0) 推荐(0)
机器学习基石笔记13——机器可以怎样学得更好（1）
摘要：Lecture 13. Hazard of Overfitting 13.1 What is Overfitting Overfitting 是什么？ 简而言之就是模型训练集上表现要好于在测试集上表现！在第 12 节关于 feature transform 讨论时，我们知道可以用复杂的算法获取到很小 阅读全文
posted @ 2017-12-25 10:42 tmortred 阅读(259) 评论(0) 推荐(0)
机器学习基石笔记12——机器可以怎样学习（4）
摘要：Lecture 12： Nonlinear Transformation 12.1 Quadratic Hypothesis 现在我们碰到一个新的问题，如何来给如图 12-1 所示的线性不可分数据做分类？ 我们之前只学过 linear classification 和 linear regressi 阅读全文
posted @ 2017-12-24 21:55 tmortred 阅读(284) 评论(0) 推荐(0)
机器学习基石笔记11——机器可以怎样学习（3）
摘要：Lecture 11： Linear Models for Classification 11.1 Linear Models for Binary Classification 回顾一下，我们学习过的线性分类算法都有一个 linear scoring fuction： s = wTx （让我想到几 阅读全文
posted @ 2017-12-22 17:15 tmortred 阅读(247) 评论(0) 推荐(0)
机器学习基石笔记10——机器可以怎样学习（2）
摘要：Lecture：Logistic Regression 10.1 Logistic Regression Problem 图 10-1 如果二元分类算法来分析病人的心脏病，输出空间是 {-1, +1}。 图 10-2 但是，医生不知道心脏病会在什么时候发作，也不能告诉病人是有心脏病或者是没有心脏病。 阅读全文
posted @ 2017-12-20 19:22 tmortred 阅读(231) 评论(1) 推荐(0)
机器学习基石笔记9——机器可以怎样学习（1）
摘要：Lecture 9：Linear Regression 9.1 Linear Regression Problem 图 9-1 现在用机器学习来决定给用户信用卡的额度。如图 9-1 所示，输入的是一系列用户相关的特征，输出的是信用卡额度。本例采用 Linear Regression 图 9-2 2D 阅读全文
posted @ 2017-12-19 14:14 tmortred 阅读(226) 评论(2) 推荐(0)
机器学习基石笔记8——为什么机器可以学习（4）
摘要：Lecture 8： Noise and Error 8.1 Noise and Probabilistic Target 我们来讨论一下，在有 Noise 的情况下 VC Bound 是不是还有效。 图 8-1 我们将噪声想像成能变色的 marble ，整个罐子里面的黄绿 marble 的比例大致 阅读全文
posted @ 2017-12-18 20:16 tmortred
机器学习基石笔记7——为什么机器可以学习（3）
摘要：杜少的 blog Lecture 7：The VC Dimension 7.1 Definition of VC Dimension VC Dimension ： The formal name of maximum non-break point 对有的 infinite hypothesis V 阅读全文
posted @ 2017-12-17 22:03 tmortred 阅读(227) 评论(1) 推荐(0)
机器学习基石笔记6——为什么机器可以学习（2）
摘要：网友杜少的笔记 Lecture 6： Theory of Generalization 6.1 Restriction of Break Point $$ \mathbb{P}[| E_{in}(g) - E_{out}(g)| > \epsilon ]\leqslant 2M exp(-2\eps 阅读全文
posted @ 2017-12-17 14:58 tmortred 阅读(161) 评论(0) 推荐(0)
机器学习基石笔记5——为什么机器可以学习 (1)
摘要：致敬杜少 Lecture 5. Training versus Testing 5.1 Recap and Preview 第四章介绍在假设空间有限的情况下， PAC 保证 Ein 和 Eout 足够的接近。 但是没有告诉我们如何让 Ein 足够的小。 图 5-1 如果 M 很小， PAC 保证 E 阅读全文
posted @ 2017-12-16 20:08 tmortred 阅读(176) 评论(0) 推荐(0)
机器学习基石4-在何时才能使用机器学习（4）
摘要：向杜少致敬! Lecture 4: Feasibility of Learning 4.1. Learning is Impossible? 图 4-1 Q1：在训练集 （in-sample） 能找到一个 g ≈ f, 但是你不能保证在应用数据 （out-sample）还有 g ≈ f 。 Q2：就 阅读全文
posted @ 2017-12-16 14:00 tmortred 阅读(236) 评论(0) 推荐(0)