邮箱图标 wotula.com

文章分类 -  Data Mining & Machine Learning

小数学解决大问题 - 信息熵（由对数函数想到）
摘要：前言在这个物欲横流的社会中，任何物品都是明码实价的，甚至许多虚拟的物品（爱情、亲情）都可能用金钱来衡量。对于计算器科学而言，我们也希望能对信息做一个量化的衡量。比如，这篇博客包含多少信息量。可能有的人会说这个问题很简单啊，我们可以通过字数来衡量，但是仔细想想，这是占不住脚的。例如，提到“苹果”，很多... 阅读全文
posted @ 2016-01-19 20:36 编程浪子Yiutto 阅读(993) 评论(1) 推荐(0)
数据降维（特征提取）和特征选择有什么区别？
摘要：Feature extraction和feature selection 都同属于Dimension reduction。要想搞清楚问题当中二者的区别，就首先得知道Dimension reduction是包含了feature selection这种内在联系，再在这种框架下去理解各种算法和方法之间的区... 阅读全文
posted @ 2015-12-07 13:53 编程浪子Yiutto 阅读(27991) 评论(1) 推荐(4)
Python 网页爬虫 & 文本处理 & 科学计算 & 机器学习 & 数据挖掘兵器谱
摘要：Python 网页爬虫 & 文本处理 & 科学计算 & 机器学习 & 数据挖掘兵器谱2015-01-3152nlpNLPJob曾经因为NLTK的缘故开始学习Python，之后渐渐成为我工作中的第一辅助脚本语言，虽然开发语言是C/C++，但平时的很多文本数据处理任务都交给了Python。离开腾讯创业后... 阅读全文
posted @ 2015-12-01 20:45 编程浪子Yiutto 阅读(299) 评论(0) 推荐(0)
浅谈gibbs sampling（LDA实验）
摘要：先把问题描述一下：如果我们已知了topic内的每个词的词频，比如下图中topic1 中money 2 次，loan 3次...那么任意给一个文档我们可以对里面每一个词算一个产生这个词的概率即 P(w=wi|t=tj)如下图，doc1 中的money 百分之百的来自于topic1 。doc2 中的词用... 阅读全文
posted @ 2015-10-28 10:00 编程浪子Yiutto 阅读(415) 评论(0) 推荐(0)
LDA主题模型的学习
摘要：上个学期到现在陆陆续续研究了一下主题模型（topic model）这个东东。何谓“主题”呢？望文生义就知道是什么意思了，就是诸如一篇文章、一段话、一个句子所表达的中心思想。不过从统计模型的角度来说， 我们是用一个特定的词频分布来刻画主题的，并认为一篇文章、一段话、一个句子是从一个概率模型中生成的。D... 阅读全文
posted @ 2015-10-27 21:59 编程浪子Yiutto 阅读(946) 评论(0) 推荐(0)
R语言：文本（字符串）处理与正则表达式
摘要：处理文本是每一种计算机语言都应该具备的功能，但不是每一种语言都侧重于处理文本。R语言是统计的语言，处理文本不是它的强项，perl语言这方面的功能比R不知要强多少倍。幸运的是R语言的可扩展能力很强，DNA/RNA/AA等生物序列现在已经可以使用R来处理。R语言处理文本的能力虽然不强，但适当用用还是可以... 阅读全文
posted @ 2015-10-08 21:27 编程浪子Yiutto 阅读(1442) 评论(0) 推荐(0)
英文分词的算法和原理
摘要：根据文档相关性计算公式TF-IDF:http://lutaf.com/210.htmBM25:http://lutaf.com/211.htm分词质量对于基于词频的相关性计算是无比重要的英文(西方语言）语言的基本单位就是单词，所以分词特别容易做，只需要3步：根据空格/符号/段落 分隔,得到单词组过滤... 阅读全文
posted @ 2015-10-03 11:16 编程浪子Yiutto 阅读(1270) 评论(0) 推荐(0)
机器学习开发者的现代化路径：不需要从统计学微积分开始
摘要：时间：2015-08-27 01:23作者：Jason Brownlee【编者按】机器学习算法的传统学习路径，是从统计学、概率论、线性代数、微积分等多种数学知识开始，但专业程序员、机器学习爱好者、MachineLearningMastery.com网站大拿Jason Brownlee博士认为这种自下... 阅读全文
posted @ 2015-09-28 09:47 编程浪子Yiutto 阅读(360) 评论(0) 推荐(0)
如何快速成为数据分析师？
摘要：携程算法组招聘 数据挖掘工程师/高级数据分析师要求：1. 硕士以上学历，数学统计计算机相关专业优先（985优先）。当然，如果你够牛逼，你可以忽略这一切2. 有模式识别，信号处理，图像处理，语音识别，机器学习等相关工作和研究经验优先3. 至少掌握C++，java,PYTHON,R等语言中的一门4. 熟... 阅读全文
posted @ 2015-09-21 14:08 编程浪子Yiutto 阅读(1586) 评论(0) 推荐(0)
Matlab批处理
摘要：在数据处理中，通常有很多文件需要处理，而这些文件基本都很相似，比如说是矩阵，它们是相同维数的矩阵，一个一个的处理浪费很多时间，因此需要批处理文件，下面是其中一个方法：在一个文件夹中有21个文件，名字都有规律。readfile={'D:\单点和单体型\CEU5=0.01\chr1.dat','D:\单... 阅读全文
posted @ 2015-09-15 20:49 编程浪子Yiutto 阅读(1082) 评论(0) 推荐(0)
matlab里面的正则表达式
摘要：1.引言正则表达式就是一个表达式（也是一串字符），它定义了某种字符串模式——利用正则表达式，可以对大段的文字进行复杂的查找、替换等。本文将以 Matlab 为编程语言，讲解正则表达式的概念和使用方法，并将在文末以实例说明正则表达式的实践应用。Matlab 提供的正则表达式函数有三个：regexp——... 阅读全文
posted @ 2015-08-17 11:33 编程浪子Yiutto 阅读(2568) 评论(0) 推荐(0)
matlab中使用文本文件(.txt)进行数据存取的技巧总结
摘要：一. 基本知识：--------------------------------------------------转-------------------------------------------------------------------------------------------... 阅读全文
posted @ 2015-08-17 10:52 编程浪子Yiutto 阅读(1465) 评论(0) 推荐(0)
常用的数据挖掘&机器学习知识(点)
摘要：Basis(基础)：MSE(MeanSquare Error 均方误差)，LMS(Least MeanSquare 最小均方)，LSM(Least Square Methods 最小二乘法)，MLE(Maximum LikelihoodEstimation最大似然估计)，QP(QuadraticPr... 阅读全文
posted @ 2015-07-23 09:47 编程浪子Yiutto 阅读(727) 评论(0) 推荐(0)