机器学习 - 随笔分类 - 一小白

聚类——机器学习(周志华)

摘要：原文链接聚类算法聚类是一种经典的无监督学习方法，无监督学习的目标是通过对无标记训练样本的学习，发掘和揭示数据集本身潜在的结构与规律，即不依赖于训练数据集的类标记信息。聚类则是试图将数据集的样本划分为若干个互不相交的类簇，从而每个簇对应一个潜在的类别。聚类直观... 阅读全文

posted @ 2018-11-02 09:43 一小白阅读(1697) 评论(0) 推荐(0)

特征选择与稀疏学习——机器学习(周志华)

摘要：原文链接上篇主要介绍了经典的降维方法与度量学习，首先从“维数灾难”导致的样本稀疏以及距离难计算两大难题出发，引出了降维的概念，即通过某种数学变换将原始高维空间转变到一个低维的子空间，接着分别介绍了kNN、MDS、PCA、KPCA以及两种经典的流形学习方法，k... 阅读全文

posted @ 2018-11-01 19:54 一小白阅读(3108) 评论(0) 推荐(1)

降维与度量学习——机器学习(周志华)

摘要：原文地址降维与度量学习样本的特征数称为维数（dimensionality），当维数非常大时，也就是现在所说的“维数灾难”，具体表现在：在高维情形下，数据样本将变得十分稀疏，因为此时要满足训练样本为“密采样”的总体样本数目是一个触不可及的天文数字，谓可远观而不可亵玩焉…训练样本的稀疏使得其代表总体阅读全文

posted @ 2018-11-01 16:46 一小白阅读(1299) 评论(0) 推荐(1)

集成学习——机器学习(周志华)

摘要：集成学习目录：个体和集成BoostingBagging与随机森林Bagging随机森林综合策略平均法投票法学习法多样性误差-分歧分解多样性度量多样性增强内容：个体和集成集成学习是通过构建并结合多个学习器来完成学习任务，如下图，集成学习通过将多个学习器结合，获... 阅读全文

posted @ 2018-11-01 15:45 一小白阅读(2967) 评论(0) 推荐(1)

贝叶斯分类器——机器学习(周志华)

摘要：贝叶斯分类器贝叶斯决策论贝叶斯决策论是概率框架下实施决策的基本方法。假设有N中可能的类别标记，即Y={c1,c2,...,cN},λij\mathcal{Y}=\{c_1, c_2,...,c_N\}, \lambda_{ij}Y={c1,c2,...,... 阅读全文

posted @ 2018-10-23 17:44 一小白阅读(781) 评论(0) 推荐(0)

支持向量回归

摘要：支持向量回归现在我们来考虑支持向量机得回归问题对于样本(x,y)(\bm{x},y)(x,y)，传统的回归模型通常直接基于输出f(x)f(\bm{x})f(x)与真实输出yyy之间的差别来计算损失，当且仅当f(x)f(\bm{x})f(x)和yyy完全相同时... 阅读全文

posted @ 2018-10-16 18:56 一小白阅读(891) 评论(0) 推荐(0)

C++实现神经网络

摘要：原文地址BP神经网络原理及C++代码实现头文件ANN.h#ifndef _ANN_H_#define _ANN_H_#include#include#include#include#include#includeclass Ann {public: expl... 阅读全文

posted @ 2018-10-15 16:19 一小白阅读(1179) 评论(0) 推荐(0)

支持向量机——机器学习(周志华)

摘要：支持向量机间隔与支持向量给定训练样本集D={(x1,y1),(x2,y2),...,(xm,ym)},yi∈{−1,+1}D = \{(\bm{x_1},y_1), (\bm{x_2},y_2),..., (\bm{x_m},y_m)\}, y_i \in ... 阅读全文

posted @ 2018-10-10 18:39 一小白阅读(457) 评论(0) 推荐(0)

神经网络——机器学习(周志华)

摘要：C++实现神经网络神经网络神经元模型神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。感知机与多层网络y=f(∑iωixi−θ)y = f(\sum_i \omega_i x_i - \th... 阅读全文

posted @ 2018-10-08 15:05 一小白阅读(878) 评论(0) 推荐(0)

C++实现决策树

摘要：参靠网上的代码用C++实现的决策树，有点小问题。详细代码fenghaotongDecisionTree.h/********************************************************************《周志华机器... 阅读全文

posted @ 2018-09-30 22:21 一小白阅读(1052) 评论(0) 推荐(0)

决策树——机器学习(周志华)

摘要：C++实现决策树决策树决策数学习的基本算法划分选择决策树的关键在第8行，如何选择最优划分属性，一般而言，随着划分过程不断进行，我们希望决策树的分支节点所包含的样本尽可能属于同一类别，即节点的“纯度”越来越高。信息增益“信息熵”是度量样本集合纯度最常用的一种指... 阅读全文

posted @ 2018-09-29 14:11 一小白阅读(997) 评论(0) 推荐(0)

C++实现线性回归

摘要：完整版见fenghaotong参考网上的代码写的LinearRegression.h/********************************************************************《周志华机器学习》C++代码** ... 阅读全文

posted @ 2018-09-28 16:54 一小白阅读(1590) 评论(0) 推荐(0)

线性模型——机器学习(周志华)

摘要：C++实现线性回归线性模型f(x)=ω1x1+ω2x2+ω3x3+...+ωdxd+bf(\bm{x}) = \omega_1x_1 + \omega_2x_2 + \omega_3x_3 + ... + \omega_dx_d + bf(x)=ω1x1... 阅读全文

posted @ 2018-09-27 16:37 一小白阅读(312) 评论(0) 推荐(0)

SVM

摘要：机器学习算法完整版见fenghaootong-githubSVMLinear Support Vector MachineDual Support Vector MachineKernel Support Vector MachineSoft-Margin ... 阅读全文

posted @ 2018-03-07 15:51 一小白阅读(380) 评论(0) 推荐(0)

SVM算法实例

摘要：机器学习算法完整版见fenghaootong-githubMINST for SVM导入模块 from sklearn import svmimport pandas as pdimport time导入数据 df = pd.read_csv('../DAT... 阅读全文

posted @ 2018-03-07 15:48 一小白阅读(429) 评论(0) 推荐(0)

随机森林算法

摘要：机器学习算法完整版见fenghaootong-github随机森林（Random Forests）鉴于决策树容易过拟合的缺点，随机森林采用多个决策树的投票机制来改善决策树我们假设随机森林使用了m棵决策树，那么就需要产生m个一定数量的样本集来训练每一棵树，如... 阅读全文

posted @ 2018-03-07 15:44 一小白阅读(226) 评论(0) 推荐(0)

随机森林实例

摘要：机器学习算法完整版见fenghaootong-githubTitanic预测哪些乘客会幸存下来数据集数据特征： Survived：是否存活（0代表否，1代表是） Pclass：社会阶级（1代表上层阶级，2代表中层阶级，3代表底层阶级）Name：船上乘客的名... 阅读全文

posted @ 2018-03-07 15:40 一小白阅读(513) 评论(0) 推荐(0)

决策树算法

摘要：机器学习算法完整版见fenghaootong-github决策树（Decision Trees）构建决策树三个步骤：特征选择决策数生成决策数剪枝特征选择熵(entropy) 熵是表示随机变量不确定性的度量。设X是一个取有限个值的离散随机变量，其概率分布为P... 阅读全文

posted @ 2018-03-07 15:14 一小白阅读(455) 评论(0) 推荐(0)

决策树算法实例

摘要：机器学习算法完整版见fenghaootong-githubTitanic预测哪些乘客会幸存下来数据集数据特征： Survived：是否存活（0代表否，1代表是） Pclass：社会阶级（1代表上层阶级，2代表中层阶级，3代表底层阶级）Name：船上乘客的名... 阅读全文

posted @ 2018-03-07 15:11 一小白阅读(558) 评论(0) 推荐(0)

贝叶斯算法

摘要：机器学习算法完整版见fenghaootong-github 贝叶斯（Bayesian Techniques）朴素贝叶斯高斯贝叶斯分类器多项式贝叶斯分类器伯努利贝叶斯分类器贝叶斯定理：P(Bi|A)=P(A|Bi)P(B)∑j=1nP(A|B... 阅读全文

posted @ 2018-03-07 14:44 一小白阅读(281) 评论(0) 推荐(0)

随笔分类 - 机器学习