随笔分类 -  数据挖掘

上一页 1 2 3 下一页
数据挖掘求职基础必备
摘要：自己的专业方向是机器学习、数据挖掘，就业意向是互联网行业与本专业相关的工作岗位。各个企业对这类岗位的命名可能有所不同，比如数据挖掘/自然语言处理/机器学习算法工程师，或简称算法工程师，还有的称为搜索/推荐算法工程师，甚至有的并入后台工程师的范畴，视岗位具体要求而定。机器学习、大数据相关岗位的职责自己... 阅读全文
posted @ 2015-12-30 10:11 白开水加糖 阅读(1052) 评论(0) 推荐(0)
GBDT详解
摘要：GBDT(GradientBoostingDecisionTree)又叫MART（MultipleAdditiveRegressionTree)，是一种迭代的决策树算法，该算法由多棵决策树组成，所有树的结论累加起来做最终答案。它在被提出之初就和SVM一起被认为是泛化能力（generalizati... 阅读全文
posted @ 2015-12-29 16:19 白开水加糖 阅读(73184) 评论(6) 推荐(10)
交叉验证
摘要：交叉验证（Cross validation)，有时亦称循环估计， 是一种统计学上将数据样本切割成较小子集的实用方法。于是可以先在一个子集上做分析， 而其它子集则用来做后续对此分析的确认及验证。 一开始的子集被称为训练集。而其它的子集则被称为验证集或测试集。交叉验证是一种评估统计分析、机器学习算法对独... 阅读全文
posted @ 2015-12-28 10:46 白开水加糖 阅读(926) 评论(0) 推荐(0)
AUC计算方法总结
摘要：一、roc曲线1、roc曲线：接收者操作特征(receiveroperating characteristic),roc曲线上每个点反映着对同一信号刺激的感受性。横轴：负正类率(false postive rate FPR)特异度，划分实例中所有负例占所有负例的比例；(1-Specificity)纵... 阅读全文
posted @ 2015-12-28 09:28 白开水加糖 阅读(36440) 评论(0) 推荐(8)
EdgeRank
摘要：EdgeRank 是今年 Facebook 在 F8 开发者大会上提出的对 fb 新鲜事 (Feeds) 排序的新算法, 用于区别默认的按时间逆序的 timeline. 不像 PageRank 还有很多论文或学术界的资料,目前没有什么官方资料讨论 EdgeRank, 搜到的资料大部分来自在线广告代理... 阅读全文
posted @ 2015-12-07 21:59 白开水加糖 阅读(1175) 评论(0) 推荐(0)
判别模型和生成模型
摘要：【摘要】 - 生成模型：无穷样本==》概率密度模型 = 产生模型==》预测 - 判别模型：有限样本==》判别函数 = 预测模型==》预测【简介】简单的说，假设o是观察值，q是模型。如果对P(o|q)建模，就是Generative模型。其基本思想是首先建立样本的概率密度模型，再利用模型进行推理预测。要... 阅读全文
posted @ 2015-11-23 15:21 白开水加糖 阅读(221) 评论(0) 推荐(0)
10种机器学习算法的要点导读
摘要：前言 谷歌董事长施密特曾说过：虽然谷歌的无人驾驶汽车和机器人受到了许多媒体关注，但是这家公司真正的未来在于机器学习，一种让计算机更聪明、更个性化的技术。 也许我们生活在人类历史上最关键的时期：从使用大型计算机，到个人电脑，再到现在的云计算。关键的不是过去发生了什么，而是将来会有什么发生。 工具和技术 阅读全文
posted @ 2015-10-08 21:35 白开水加糖 阅读(425) 评论(0) 推荐(0)
Kmeans聚类算法
摘要：K-means也是聚类算法中最简单的一种了，但是里面包含的思想却是不一般。最早我使用并实现这个算法是在学习韩爷爷那本数据挖掘的书中，那本书比较注重应用。看了Andrew Ng的这个讲义后才有些明白K-means后面包含的EM思想。 聚类属于无监督学习，以往的回归、朴素贝叶斯、SVM等都是有类别标签... 阅读全文
posted @ 2015-09-17 11:06 白开水加糖 阅读(920) 评论(0) 推荐(0)
机器学习十大经典算法
摘要：1、C4.5C4.5算法是机器学习算法中的一种分类决策树算法,其核心算法是ID3算法.C4.5算法继承了ID3算法的优点，并在以下几方面对ID3算法进行了改进： 1)用信息增益率来选择属性，克服了用信息增益选择属性时偏向选择取值多的属性的不足；2)在树构造过程中进行剪枝；3)能够完成对连续属性的离散... 阅读全文
posted @ 2015-09-16 20:43 白开水加糖 阅读(403) 评论(0) 推荐(0)
EM算法
摘要：EM是我一直想深入学习的算法之一，第一次听说是在NLP课中的HMM那一节，为了解决HMM的参数估计问题，使用了EM算法。在之后的MT中的词对齐中也用到了。在Mitchell的书中也提到EM可以用于贝叶斯网络中。下面主要介绍EM的整个推导过程。1. Jensen不等式 回顾优化理论中的一些概念。设f... 阅读全文
posted @ 2015-09-13 21:49 白开水加糖 阅读(438) 评论(0) 推荐(0)
Kmeans算法java实现
该文被密码保护。
posted @ 2015-07-25 20:40 白开水加糖 阅读(1) 评论(0) 推荐(0)
随机森林的学习
摘要：阅读目录1 什么是随机森林？2 随机森林的特点3 随机森林的相关基础知识4 随机森林的生成5 袋外错误率（oob error）6 随机森林工作原理解释的一个简单例子7 随机森林的Python实现8 参考内容回到顶部1 什么是随机森林？ 作为新兴起的、高度灵活的一种机器学习算法，随机森林（Rando... 阅读全文
posted @ 2015-07-14 10:53 白开水加糖 阅读(619) 评论(0) 推荐(0)
决策树
摘要：决策树决策树又称为判定树，是运用于分类的一种树结构，其中的每个内部节点代表对某一属性的一次测试，每条边代表一个测试结果，叶节点代表某个类或类的分布。决策树的决策过程需要从决策树的根节点开始，待测数据与决策树中的特征节点进行比较，并按照比较结果选择选择下一比较分支，直到叶子节点作为最终的决策结果。决策... 阅读全文
posted @ 2015-07-14 10:28 白开水加糖 阅读(655) 评论(0) 推荐(0)
浅析PageRank算法
摘要：很早就对Google的PageRank算法很感兴趣，但一直没有深究，只有个轮廓性的概念。前几天趁团队outing的机会，在动车上看了一些相关的资料（PS：在动车上看看书真是一种享受），趁热打铁，将所看的东西整理成此文。本文首先会讨论搜索引擎的核心难题，同时讨论早期搜索引擎关于结果页面重要性评价算法的... 阅读全文
posted @ 2015-07-13 21:44 白开水加糖 阅读(4397) 评论(0) 推荐(0)
Logistic Regression 模型简介
摘要：逻辑回归（Logistic Regression）是机器学习中的一种分类模型，由于算法的简单和高效，在实际中应用非常广泛。本文作为美团机器学习InAction系列中的一篇， 主要关注逻辑回归算法的数学模型和参数求解方法，最后也会简单讨论下逻辑回归和贝叶斯分类的关系，以及在多分类问题上的推广。逻辑回归... 阅读全文
posted @ 2015-07-13 14:30 白开水加糖 阅读(2568) 评论(0) 推荐(0)
神经网络的通俗理解
摘要：数学之美--上对人工神经网络的通俗解释很形象：0. 分类神经网络最重要的用途是分类，为了让大家对分类有个直观的认识，咱们先看几个例子：垃圾邮件识别：现在有一封电子邮件，把出现在里面的所有词汇提取出来，送进一个机器里，机器需要判断这封邮件是否是垃圾邮件。疾病判断：病人到医院去做了一大堆肝功、尿检测验，... 阅读全文
posted @ 2015-07-12 16:39 白开水加糖 阅读(8659) 评论(1) 推荐(0)
LDA主题模型学习的学习笔记
该文被密码保护。
posted @ 2015-07-12 16:00 白开水加糖 阅读(3) 评论(0) 推荐(0)
PLSA公式推导
该文被密码保护。
posted @ 2015-07-11 17:00 白开水加糖 阅读(3) 评论(0) 推荐(0)
分类算法之朴素贝叶斯分类
该文被密码保护。
posted @ 2015-07-09 21:12 白开水加糖 阅读(2) 评论(0) 推荐(0)
监督学习与非监督学习的区别
摘要：以下是摘抄自知乎上对监督学习与非监督学习的总结，觉得写得很形象，于是记下：这个问题可以回答得很简单：是否有监督（supervised），就看输入数据是否有标签（label）。输入数据有标签，则为有监督学习，没标签则为无监督学习首先看什么是学习（learning）？一个成语就可概括：举一反三。此处以高... 阅读全文
posted @ 2015-07-07 14:29 白开水加糖 阅读(13441) 评论(0) 推荐(1)

上一页 1 2 3 下一页