2014年11月6日
mahout 0.9 (+ hadoop 2.4.0) 编译
摘要： mvn -Dhadoop2 -Dhadoop2.version=2.4.0 -DskipTests clean installmvn -Dhadoop2 -Dhadoop2.version=2.4.0 -DskipTests clean packagemahout 0.9 release 默认是编译... 阅读全文
posted @ 2014-11-06 17:11 自由行走 阅读(179) 评论(0) 推荐(0) 编辑
Spark scala 程序开发
摘要： 开发Spark 程序，看到的都是要打包成jar 然后运行。 今天发现其实对于standalone也可以直接运行。如下代码，设定好master , 然后选择run as -> Scala Application 即可。通过这种方式可以节约打包时间。import org.apache.spark.Spa... 阅读全文
posted @ 2014-11-06 17:04 自由行走 阅读(354) 评论(0) 推荐(0) 编辑
Spark wordcount 编译错误 -- reduceByKey is not a member of RDD
摘要： value reduceByKey is not a member of org.apache.spark.rdd.RDD[(String, Int)] 阅读全文
posted @ 2014-11-06 16:48 自由行走 阅读(6345) 评论(0) 推荐(1) 编辑