摘要：最近在做关于短文本的分词和自定义类别标示工作，通过调研分析Jieba源码，发现开源的分词库里融合了许多算法：Trie数对词典的存储，HMM、Viterbi对文本的序列分割和标注，正向最大匹配算法。 掌握了jieba分词的原理，就可以通过优化建立一个更加完善的分词器。 废话不多说了，开始进入源码分析整 阅读全文

摘要：Part1.乐视网视频推荐系统 推荐系统：和传统的推荐系统架构无异（基础建模+规则） 数据模块特点：用户反馈服务数据-》kv 缓存-》log存储 行为日志-》解析/聚合-》session log-》cf/用户模型 系统推荐流程： 召回：聚类算法；tensorflow（topN）；分类，top个性化标 阅读全文

摘要：引言： Normal Equation 是最基础的最小二乘方法。在Andrew Ng的课程中给出了矩阵推到形式，本文将重点提供几种推导方式以便于全方位帮助Machine Learning用户学习。 Notations： RSS（Residual Sum Squared error）：残差平方和 β： 阅读全文

摘要：MinHash 首先它是一种基于 Jaccard Index 相似度的算法，也是一种 LSH 的降维的方法，应用于大数据集的相似度检索、推荐系统。下边按我的理解介绍下MinHash 问题背景 给出N个集合，找到相似的集合对，如何实现呢？直观的方法是比较任意两个集合。当N比较小时，比如K级，Jacca 阅读全文

摘要：在学习nlp自然语言处理的过程中，免不了要使用中文分词资源作为分词依据或前期调研。所以想研究中文分词，第一步需要解决的就是资源问题。 作为中文信息处理的壁垒，中文分词在国内的关注度似乎远远超过了自然语言处理的其他研究领域。在中文分词中，资源的重要性又不言而喻，最大匹配法（正向、逆向）等需要一个好的词 阅读全文

摘要：由于在工作中应用到xgboost做特征训练预测，因此需要深入理解xgboost训练过程中的参数的意思和影响。 通过search，https://www.analyticsvidhya.com/blog/2016/03/complete-guide-parameter-tuning-xgboost-w 阅读全文

摘要：导读 最近在研究”基于时序行为的协同过滤算法“中重点提到了矩阵分解模型，因此总结下最近比较火的算法：矩阵分解模型。 经过kddcup和netflix比赛的多人多次检验，矩阵分解可以带来更好的结果，而且可以充分地考虑各种因素的影响，有非常好的扩展性，因为要考虑多种因素的综合作用，往往需要构造cost 阅读全文