摘要：
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties Exception in thread "main" java.io.IOException: java.lang.reflect.Invo 阅读全文
posted @ 2017-05-16 17:12
大葱拌豆腐
阅读(4718)
评论(0)
推荐(0)
摘要：
转载自：https://vimsky.com/article/3403.html Spark中ml和mllib的主要区别和联系如下： ml和mllib都是Spark中的机器学习库，目前常用的机器学习功能2个库都能满足需求。 spark官方推荐使用ml, 因为ml功能更全面更灵活，未来会主要支持ml， 阅读全文
posted @ 2017-05-16 13:39
大葱拌豆腐
阅读(10884)
评论(0)
推荐(0)
摘要：
mllib是老的api，里面的模型都是基于RDD的，模型使用的时候api也是有变化的(model这里是naiveBayes)， （1：在模型训练的时候是naiveBayes.run(data: RDD[LabeledPoint])来训练的，run之后的返回值是一个NaiveBayesModel对象， 阅读全文
posted @ 2017-05-16 12:48
大葱拌豆腐
阅读(1584)
评论(0)
推荐(0)
摘要：
带状态的更新是使用的updateStateByKey方法，里面传入一个函数，函数要自己写，注意需要设置checkpoint 阅读全文
posted @ 2017-05-16 12:44
大葱拌豆腐
阅读(507)
评论(0)
推荐(0)
摘要：
日志数据： 阅读全文
posted @ 2017-05-16 12:41
大葱拌豆腐
阅读(939)
评论(0)
推荐(0)
摘要：
Pipeline 为流程，是Spark创建机器学习的一个流程控制的类 下面直接贴出创建的代码，以及整个流程 第一种： 第二种： 阅读全文
posted @ 2017-05-16 12:36
大葱拌豆腐
阅读(892)
评论(0)
推荐(0)
摘要：
功能：接收来自kafka的数据，数据是一篇文章，来判断文章的类型，把判断的结果一并保存到Hbase，并把文章建立索引（没有代码只有一个空壳，可以自己实现，以后有机会了可能会补上） 代码实现： 阅读全文
posted @ 2017-05-16 11:59
大葱拌豆腐
阅读(1030)
评论(0)
推荐(0)
摘要：
实用的朴素贝叶斯模型建模 建模过程主要是把文本转化成向量然后再作分析 数据格式： 阅读全文
posted @ 2017-05-16 11:55
大葱拌豆腐
阅读(2077)
评论(0)
推荐(0)
摘要：
这篇文章参考《Spark快速大数据分析》，归纳spark技术核心的rdd及MLlib以及其中几个重要库的使用。 初始化操作 spark shell: bin/pyspark 每个spark应用都由一个驱动器程序(driver program)来发起集群上的各种并行操作，驱动器程序包含应用的main函 阅读全文
posted @ 2017-05-16 11:31
大葱拌豆腐
阅读(1226)
评论(1)
推荐(0)
摘要：
转载自：https://www.ibm.com/developerworks/cn/cognitive/library/cc-1606-spark-seniment-analysis/index.html IBM 公司在 2015 年对外宣告了一个新的科技和商务时代的来临—认知时代。这个巨大的转变， 阅读全文
posted @ 2017-05-16 10:54
大葱拌豆腐
阅读(2348)
评论(0)
推荐(0)
浙公网安备 33010602011771号