佟学强

摘要： 上一篇博客中，详细介绍了UserCF和ItemCF，ItemCF，就是通过用户的历史兴趣，把两个物品关联起来，这两个物品，可以有很高的相似度，也可以没有联系，比如经典的沃尔玛的啤酒尿布案例。通过ItemCF，能能够真正实现个性化推荐，最大限度地挖掘用户的需求。在购物网站和电子商务，图书中，应用特别广 阅读全文

摘要： 原文链接：https://segmentfault.com/a/1190000005083578 初学Scala的人都会被Seq的各种操作符所confuse。下面简单列举一下各个Seq操作符的区别。 4种操作符的区别和联系 :: 该方法被称为cons，意为构造，向队列的头部追加数据，创造新的列表。用 阅读全文

摘要： 相信很多人和我一样，在刚接触Scala时，会觉得Symbol类型很奇怪，既然Scala中字符串都是不可变的，那么Symbol类型到底有什么作用呢？ 简单来说，相比较于String类型，Symbol类型有两个比较明显的特点:节省内存和快速比较。在进入正题之前，让我们先来了解一下Java中String的 阅读全文

摘要： kmeans算法的流程： kmeans算法的流程： EM思想很伟大，在处理含有隐式变量的机器学习算法中很有用。聚类算法包括kmeans，高斯混合聚类，快速迭代聚类等等，都离不开EM思想。在了解kmeans算法之前，有必要详细了解一下EM思想。 Kmeans算法属于无监督学习中的一种，相比于监督学习， 阅读全文

摘要： ComputeSVD 构建一个4×5的矩阵M: M矩阵的奇异值分解后奇异矩阵s应为： 4 0 0 0 0 0 3 0 0 0 0 0 √5 0 0 0 0 0 0 0 我们将通过ComputeSVD函数进行验证. <一> 构造RowMatrix矩阵:M scala> val M = new RowM 阅读全文

摘要： 由于本人文字表达能力不足，还是多多以代码形式表述，首先展示测试代码，然后解释： 下面重点研究Pregel,为了方便，自己重新定义了一个Pregel0 def mapReduceTriplets[A]( map: EdgeTriplet[VD, ED] => Iterator[(VertexId, A 阅读全文

摘要： /** * 自定义收集VertexId的neighborIds * @author TongXueQiang */def collectNeighborIds[T,U](edgeDirection:EdgeDirection,graph:Graph[T,U])(implicit m:scala.re 阅读全文

摘要： Databricks孟祥瑞：ALS 在 Spark MLlib 中的实现 发表于2015-05-07 21:58| 10255次阅读| 来源《程序员》电子刊| 9 条评论| 作者孟祥瑞 大数据机器学习开源SparkMLlibALS 摘要：MLlib在1.3中添加了不少机器学习及数据挖掘算法：研究主题 阅读全文

摘要： 四两拨千斤：借助Spark GraphX将QQ千亿关系链计算提速20倍 时间 2016-07-22 16:57:00 炼数成金 相似文章 (5) 原文 http://www.dataguru.cn/article-9648-1.html 主题 Graphx Spark 时间 2016-07-22 1 阅读全文

摘要： 1、GraphX介绍 1.1 GraphX应用背景 Spark GraphX是一个分布式图处理框架，它是基于Spark平台提供对图计算和图挖掘简洁易用的而丰富的接口，极大的方便了对分布式图处理的需求。 众所周知·，社交网络中人与人之间有很多关系链，例如Twitter、Facebook、微博和微信等， 阅读全文