随笔分类 -  机器学习

上一页 1 2 3 下一页
GBDT分类和回归例子
摘要： 阅读全文
posted @ 2018-11-12 22:21 下路派出所 阅读(1626) 评论(0) 推荐(0)
词性标注 HMM
摘要：1.给定语料，统计语料中的词性为N，词组为M。 2.HMM关注3个参数 a.初始化概率 b.状态转移矩阵 N*N c.观测状态概率矩阵 N*M 3.状态转移矩阵：词A的词性为词性a，词B的词性为词性b，AB为相连词，从给定的语料中统计从词性a转换到词性b出现的次数/词性a转换到所有可能转换的词性的次 阅读全文
posted @ 2018-11-07 19:49 下路派出所 阅读(374) 评论(0) 推荐(0)
kd树
摘要：算法介绍： 算法原理： 搜索kd树： 算法介绍： 算法原理： 阅读全文
posted @ 2018-11-02 12:00 下路派出所 阅读(174) 评论(0) 推荐(0)
分词原理
摘要：1. 分词的基本原理 现代分词都是基于统计的分词，而统计的样本内容来自于一些标准的语料库。假如有一个句子：“小明来到荔湾区”，我们期望语料库统计后分词的结果是："小明/来到/荔湾/区"，而不是“小明/来到/荔/湾区”。那么如何做到这一点呢？ 从统计的角度，我们期望"小明/来到/荔湾/区"这个分词后句 阅读全文
posted @ 2018-10-28 14:20 下路派出所 阅读(218) 评论(0) 推荐(0)
Word2vec 理解
摘要：1.有DNN做的word2vec，取隐藏层到softmax层的权重为词向量，softmax层的叶子节点数为词汇表大小 2.霍夫曼树：左边走 sigmoid(当前节点的词向量*当前节点的参数) 右边走 1-sigmoid(当前节点的词向量*当前节点的参数)，叶子节点为词汇表所有词，然后求根节点到叶子节 阅读全文
posted @ 2018-10-25 18:11 下路派出所 阅读(262) 评论(0) 推荐(0)
xgboost与gbdt区别
摘要：1.基分类器的选择：传统GBDT以CART作为基分类器，XGBoost还支持线性分类器，这个时候XGBoost相当于带L1和L2正则化项的逻辑斯蒂回归（分类问题）或者线性回归（回归问题）。 2.二阶泰勒展开：传统GBDT在优化时只用到一阶导数信息；XGBoost则对代价函数进行了二阶泰勒展开，同时用 阅读全文
posted @ 2018-10-01 19:50 下路派出所 阅读(2346) 评论(0) 推荐(0)
ID3、C4.5和CART决策树对比
摘要：ID3决策树：利用信息增益来划分节点 信息熵是度量样本集合纯度最常用的一种指标。假设样本集合D中第k类样本所占的比重为pk，那么信息熵的计算则为下面的计算方式 当这个Ent(D)的值越小，说明样本集合D的纯度就越高 有了信息熵，当我选择用样本的某一个属性a来划分样本集合D时，就可以得出用属性a对样本 阅读全文
posted @ 2018-09-29 17:17 下路派出所 阅读(2385) 评论(0) 推荐(0)
Boosting和Bagging的异同
摘要：二者都是集成学习算法，都是将多个弱学习器组合成强学习器的方法。 1、Bagging （主要关注降低方差） Bagging即套袋法，其算法过程如下： A）从原始样本集中抽取训练集。每轮从原始样本集中使用Bootstraping的方法抽取n个训练样本（在训练集中，有些样本可能被多次抽取到，而有些样本可能 阅读全文
posted @ 2018-09-27 19:44 下路派出所 阅读(1193) 评论(0) 推荐(0)
深度学习模型参数初始化的方法
摘要：（1）Gaussian 满足mean=0，std=1的高斯分布x∼N(mean，std2) （2）Xavier 满足x∼U(−a,+a)x∼U(−a,+a)的均匀分布， 其中 a = sqrt(3/n) （3）MSRA 满足x∼N(0,σ2)x∼N(0,σ2)的高斯分布，其中σ = sqrt(2/n 阅读全文
posted @ 2018-09-27 17:59 下路派出所 阅读(1996) 评论(0) 推荐(0)
NLP 装桶（Bucketing）和填充（padding）
摘要：翻译模型也是用了装桶（bucketing）和填充（padding），这两种方法是用于高效地处理不同长度句子的情况。我们首先来弄清楚是怎么一回事。当我们从英语翻译成法语的时候，假设我们的输入英语的长度为L1，输出法语的长度为L2。因为英语句子是作为encoder_inputs而传入的，法语句子作为de 阅读全文
posted @ 2018-09-20 15:53 下路派出所 阅读(3114) 评论(0) 推荐(1)
n-grama
摘要：一、N-Gram的原理(这个词出现在句子中出现的概率) N-Gram是基于一个假设：第n个词出现与前n-1个词相关，而与其他任何词不相关。（这也是隐马尔可夫当中的假设。）整个句子出现的概率就等于各个词出现的概率乘积。各个词的概率可以通过语料中统计计算得到。假设句子T是有词序列w1,w2,w3...w 阅读全文
posted @ 2018-09-03 20:38 下路派出所 阅读(256) 评论(0) 推荐(0)
pandas 使用
摘要：1.读取excel: 2.写入excel 3.根据某一列的值进行筛选 4.将list添加到data_frame最后一列 5.data_frame采样 阅读全文
posted @ 2018-08-08 18:44 下路派出所 阅读(153) 评论(0) 推荐(0)
xgb 绘制
摘要：1.windows安装Graphviz2.38 安装地址：https://graphviz.gitlab.io/_pages/Download/Download_windows.html 2.在python文件头添加这两行代码 3.实例代码 阅读全文
posted @ 2018-07-30 18:01 下路派出所 阅读(560) 评论(0) 推荐(0)
CART树
摘要：算法概述 CART(Classification And Regression Tree)算法是一种决策树分类方法。 它采用一种二分递归分割的技术，分割方法采用基于最小距离的基尼指数估计函数，将当前的样本集分为两个子样本集，使得生成的的每个非叶子节点都有两个分支。因此，CART算法生成的决策树是结构 阅读全文
posted @ 2018-07-06 17:42 下路派出所 阅读(331) 评论(0) 推荐(0)
GridSearchCV
摘要：GridSearchCV 简介： GridSearchCV，它存在的意义就是自动调参，只要把参数输进去，就能给出最优化的结果和参数。但是这个方法适合于小数据集，一旦数据的量级上去了，很难得出结果。这个时候就是需要动脑筋了。数据量比较大的时候可以使用一个快速调优的方法——坐标下降。它其实是一种贪心算法 阅读全文
posted @ 2018-07-05 22:35 下路派出所 阅读(1795) 评论(0) 推荐(0)
聚类 肘部法则
摘要：肘部法则：畸变程度的改善效果下降幅度最大的位置就是肘部，一般用畸变程度来确定最佳的值。 畸变程度：每个类别距离其该类中心点的距离称为畸变程度 阅读全文
posted @ 2018-06-26 10:42 下路派出所 阅读(2159) 评论(0) 推荐(0)
逻辑回归和线性回归区别
摘要：1）线性回归要求变量服从正态分布，logistic回归对变量分布没有要求。 2）线性回归要求因变量是连续性数值变量，而logistic回归要求因变量是分类型变量。 3）线性回归要求自变量和因变量呈线性关系，而logistic回归不要求自变量和因变量呈线性关系 4）logistic回归是分析因变量取某 阅读全文
posted @ 2018-04-30 12:26 下路派出所 阅读(4055) 评论(0) 推荐(0)
KNN理解
摘要：基本思想 K近邻算法，即是给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的K个实例，这K个实例的多数属于某个类，就把该输入实例分类到这个类中。如下面的图： 通俗一点来说，就是找最“邻近”的伙伴，通过这些伙伴的类别来看自己的类别。比如以性格和做过的事情为判断特征，和你最邻近的10 阅读全文
posted @ 2018-04-29 22:13 下路派出所 阅读(155) 评论(0) 推荐(0)
SVM理解
摘要：SVM是什么 简单点讲，SVM 就是个分类器，它用于回归的时候称为SVR（Support Vector Regression），SVM和SVR本质上都一样。下图就是SVM分类： （边界上的点就是支持向量，这些点很关键，这也是”支持向量机“命名的由来） SVM的目的：寻找到一个超平面使样本分成两类，并 阅读全文
posted @ 2018-01-25 10:57 下路派出所 阅读(389) 评论(0) 推荐(0)
决策树 随机森林
摘要：决策树 决策树是一种简单但广泛使用的分类器，它通过训练数据构建决策树，对未知的数据进行分类。决策树的每个内部节点表示在一个属性上的测试，每个分枝代表该测试的一个输出，而每个树叶结点存放着一个类标号。 在决策树算法中，ID3基于信息增益作为属性选择的度量，C4.5基于信息增益比作为属性选择的度量，CA 阅读全文
posted @ 2018-01-22 22:24 下路派出所 阅读(259) 评论(0) 推荐(0)

上一页 1 2 3 下一页