000 —— 机器学习 - 随笔分类 - h_z_cong

《统计学习方法》笔记第二章 —— 感知机

摘要：主要内容：一、感知机模型二、感知机学习策略（线性可分）三、感知机学习算法（疑问：对偶形式比原始形式更优吗？但为何从”判断误分类点“这一步骤对比，对偶形式的时间复杂度似乎更高呢？）一、感知机模型 1.所谓感知机，其实就是一个在n维空间内的超平面(n-1维)，这个超平面将整个空间分为两部分。阅读全文

posted @ 2018-12-07 21:14 h_z_cong 阅读(368) 评论(0) 推荐(0)

《机器学习基石》第一周 —— When Can Machine Learn?

摘要：（注：由于之前进行了吴恩达机器学习课程的学习，其中有部分内容与机器学习基石的内容重叠，所以以下该系列的笔记只记录新的知识）《机器学习基石》课程围绕着下面这四个问题而展开：主要内容：一、什么时候适合用机器学习？二、该课程所采用的一套符号表示三、机器学习的流程四、感知机算法五、学习的类型阅读全文

posted @ 2018-12-05 00:38 h_z_cong 阅读(191) 评论(0) 推荐(0)

bagging与boosting集成学习、随机森林

摘要：主要内容：一.bagging、boosting集成学习二.随机森林一.bagging、boosting集成学习 1.bagging：从原始样本集中独立地进行k轮抽取，生成训练集。每轮从原始样本集中使用Bootstraping方法抽取（即又放回地抽取）n个样本点（样本集与训练集的大小同为n。在阅读全文

posted @ 2018-09-10 20:03 h_z_cong 阅读(252) 评论(0) 推荐(0)

scikit-learn笔记之初次接触

摘要：一.加载数据：然后看一下有多少个特征和类别以及它们的名字：二.数据可视化:：由于该套数据集有4个特征，所以只能选取2个特征进行显示。可见红色和绿色的点混在一起，所以再选择其他特征作为坐标轴：这样就可以区别这三种类别了。补充：还可以用三维视图：三.训练分类器：四.进行预测：五.规范化阅读全文

posted @ 2018-09-03 20:01 h_z_cong 阅读(218) 评论(0) 推荐(0)

《机器学习实战》学习笔记第十四章 —— 利用SVD简化数据

摘要：相关博客：吴恩达机器学习笔记（八） —— 降维与主成分分析法(PCA) 《机器学习实战》学习笔记第十三章 —— 利用PCA来简化数据奇异值分解(SVD)原理与在降维中的应用机器学习(29)之奇异值分解SVD原理与应用详解主要内容：一.SVD简介二.U、∑、VT三个矩阵的求解三.U、∑、阅读全文

posted @ 2018-08-30 10:28 h_z_cong 阅读(361) 评论(0) 推荐(0)

《机器学习实战》学习笔记第十二章 —— FP-growth算法

摘要：主要内容：一. FP-growth算法简介二.构建FP树三.从一颗FP树中挖掘频繁项集一. FP-growth算法简介 1.上次提到可以用Apriori算法来提取频繁项集，但是Apriori算法有个致命的缺点，那就是它对每个潜在的频繁项集都需要扫描数据集判定其是否频繁，因而在时间消耗上是巨大阅读全文

posted @ 2018-08-25 16:31 h_z_cong 阅读(839) 评论(0) 推荐(0)

《机器学习实战》学习笔记第十一章 —— Apriori算法

摘要：主要内容：一.关联分析二.Apriori原理三.使用Apriori算法生成频繁项集四.从频繁项集中生成关联规则一.关联分析 1.关联分析是一种在大规模数据集中寻找有趣关系的任务。这些关系可以有两种形式：频繁项集和关联规则。 2.频繁项集是经常出现在一起的元素的集合。 3.关联规则暗示两个元阅读全文

posted @ 2018-08-23 09:42 h_z_cong 阅读(991) 评论(1) 推荐(0)

《机器学习实战》学习笔记第九章 —— 决策树之CART算法

摘要：相关博文：《机器学习实战》学习笔记第三章 —— 决策树主要内容：一.CART算法简介二.分类树三.回归树四.构建回归树五.回归树的剪枝六.模型树七.树回归与标准回归的比较一.CART算法简介 1.对于上一篇博客所介绍的决策树，其使用的算法是ID3算法或者是C4.5算法，他们都是根阅读全文

posted @ 2018-08-18 20:52 h_z_cong 阅读(450) 评论(0) 推荐(0)

《机器学习实战》学习笔记第八章 —— 线性回归、L1、L2范数正则项

摘要：相关笔记：吴恩达机器学习笔记（一） —— 线性回归吴恩达机器学习笔记（三） —— Regularization正则化（问题遗留：小可只知道引入正则项能降低参数的取值，但为什么能保证 Σθ2 <=λ ？）主要内容：一.线性回归之普通最小二乘法二.局部加权线性回归三.岭回归（L2正则阅读全文

posted @ 2018-08-16 20:20 h_z_cong 阅读(668) 评论(0) 推荐(0)

《机器学习实战》学习笔记第十三章 —— 利用PCA来简化数据

摘要：相关博文：吴恩达机器学习笔记（八） —— 降维与主成分分析法(PCA) 主成分分析（PCA）的推导与解释（特征值、特征向量与PCA的关系）主要内容：一.向量內积的几何意义二.基的变换三.协方差矩阵四.PCA求解一.向量內积的几何意义 1.假设A、B为二维平面xoy内两个向量，A为(x 阅读全文

posted @ 2018-08-14 20:34 h_z_cong 阅读(411) 评论(0) 推荐(0)

《机器学习实战》学习笔记第七章 —— AdaBoost元算法

摘要：主要内容：一.提升方法与AdaBoost算法的简介二.AdaBoost算法三.代码解释一.提升方法与AdaBoost算法的简介 1.提升方法：从弱学习算法出发，反复学习，得到一系列弱分类器（又称为基本分类器），然后组合这些弱分类器，构成一个强分类器。大多数的提升方法都是改变训练数据的概率分布阅读全文

posted @ 2018-08-13 16:12 h_z_cong 阅读(509) 评论(0) 推荐(0)

《机器学习实战》学习笔记第五章 —— Logistic回归

摘要：一.有关笔记： 1..吴恩达机器学习笔记（二） —— Logistic回归 2.吴恩达机器学习笔记（十一） —— Large Scale Machine Learning 二.Python源码（不带正则项）：三.Batch gradient descent、Stochastic gradient 阅读全文

posted @ 2018-08-10 15:48 h_z_cong 阅读(472) 评论(0) 推荐(0)

《机器学习实战》学习笔记第四章 —— 朴素贝叶斯法

摘要：主要内容：一.贝叶斯公式与朴素贝叶斯法二.先验概率与后验概率三.极大似然估计与贝叶斯估计四.利用朴素贝叶斯进行文档分类五.利用朴素贝叶斯进行垃圾邮件过滤六.补充一.贝叶斯公式与朴素贝叶斯法 1.贝叶斯公式 2.朴素贝叶斯：假定所有变量X都相互独立（条件独立性），那么上式中的P(X|Y) 阅读全文

posted @ 2018-08-08 21:28 h_z_cong 阅读(664) 评论(0) 推荐(0)

《机器学习实战》学习笔记第三章 —— 决策树之ID3、C4.5算法

摘要：(这两个算法似乎都需要y是离散的，而CART算法y是离散或者连续都可以，对应不同的评价标准) 主要内容：一.决策树模型二.信息与熵三.信息增益与ID3算法四.信息增益比与C4.5算法五.决策树的剪枝一.决策树模型 1.所谓决策树，就是根据实例的特征对实例进行划分的树形结构。其中有两种节点阅读全文

posted @ 2018-08-06 20:36 h_z_cong 阅读(341) 评论(0) 推荐(0)

《机器学习实战》学习笔记第二章 —— K-近邻算法

摘要：主要内容：一.算法概述二.距离度量三.k值的选择四.分类决策规则五.利用KNN对约会对象进行分类六.利用KNN构建手写识别系统七.KNN之线性扫描法的不足八.KD树一.算法概述 1.k近邻算法，简而言之，就是选取k个与输入点的特征距离最近的数据点中出现最多的一种分类，作为输入点的类阅读全文

posted @ 2018-08-03 21:02 h_z_cong 阅读(399) 评论(0) 推荐(0)

吴恩达机器学习笔记（十二） —— Application Example: Photo OCR（完）

摘要：主要内容：一.Photo OCR 二.Getting lots of data：artificial data synthesis 三.Ceiling analysis 一.Photo OCR Photo OCR就是从图片中提取文本或者需要的数据，其具体步骤可分三个：第一步：Text detec 阅读全文

posted @ 2018-07-29 15:53 h_z_cong 阅读(302) 评论(0) 推荐(0)

吴恩达机器学习笔记（十一） —— Large Scale Machine Learning

摘要：主要内容：一.Batch gradient descent 二.Stochastic gradient descent 三.Mini-batch gradient descent 四.Online learning 五.Map-reduce and data parallelism 一.Batch 阅读全文

posted @ 2018-07-28 21:20 h_z_cong 阅读(409) 评论(0) 推荐(0)

吴恩达机器学习笔记（十） —— 推荐系统

摘要：主要内容：一.推荐系统简介二.Content-based recommendations 三.Collaborative filtering algorithm 四.预测结果向量化五.mean normalization 一.推荐系统简介推荐系统，即利用已有的数据，从中提取出可能有用的特征，阅读全文

posted @ 2018-07-27 15:45 h_z_cong 阅读(380) 评论(0) 推荐(0)

吴恩达机器学习笔记（九） —— 异常检测(Anomaly detection)

摘要：主要内容：一.模型介绍二.算法过程三.算法性能评估及ε(threshold)的选择四.Anomaly detection vs Supervised learning 五.Multivariate Gaussian 一.模型介绍如何检测一个成品是否异常？假设红交叉表示正常的样本点，如果抽阅读全文

posted @ 2018-07-27 15:29 h_z_cong 阅读(622) 评论(0) 推荐(0)

吴恩达机器学习笔记（八） —— 降维与主成分分析法(PCA)

摘要：主要内容：一.降维与PCA 二.PCA算法过程三.PCA之恢复四.如何选取维数K 五.PCA的作用与适用场合一.降维与PCA 1.所谓降维，就是将数据由原来的n个特征(feature)缩减为k个特征(可能从n个中直接选取k个，也能根据这n个重新组合成k个)。可起到数据压缩的作用（因而也就存在阅读全文

posted @ 2018-07-24 21:11 h_z_cong 阅读(4997) 评论(2) 推荐(1)

随笔分类 - 000 —— 机器学习