随笔分类 -  编程框架

摘要：LocalSparkContext.scala import org.apache.spark.{SparkConf, SparkContext} import org.scalatest._ trait LocalSparkContext extends BeforeAndAfterAll { s 阅读全文

摘要：这两天在用spark做点击率的贝叶斯平滑，参考雅虎的论文进行了一番尝试。 先上代码： 1 # click_count, show_count # this method takes time 2 def do_smooth(data_list): 3 import scipy.special as 阅读全文

摘要：图片太小，请参见数据类型操作在Spark上的应用案例Beta分布随机数Bayes平滑计算CTR先验Bayes平滑计算CTR先验class entity(traindata: RDD[Array[Double]], outputPath: String) extends serial... 阅读全文

摘要：2017年的学习目标 方向：程序设计、数据挖掘、搜索排序、计算广告、用户画像、推荐、自然语言处理 语言：Shell、C++、Java、Python、Scala、Lisp、Ruby 读书：PRML、随机过程、蓝皮书、西瓜书、实战、计算广告、数学之美、浪潮之巅 大数据：Hadoop、Spark、Stor 阅读全文