2015年12月1日
spark示例
摘要： 1）java(App.java) package com.ejiajie.bi.hello;import org.apache.spark.api.java.JavaSparkContext;import org.apache.spark.api.java.JavaRDD;import org... 阅读全文
posted @ 2015-12-01 14:08 #hanhui 阅读(280) 评论(0) 推荐(0)
spark 1.5.2配置记录
摘要： 1）slaves # A Spark Worker will be started on each of the machines listed below.dataNode 2）spark-env.sh export HADOOP_CONF_DIR=/home/hadoop/hadoop... 阅读全文
posted @ 2015-12-01 13:58 #hanhui 阅读(122) 评论(0) 推荐(0)
hadoop 2.6配置记录
摘要： 本地hadoop配置 1）core-site.xml hadoop.tmp.dir /home/hadoop/tmp A base for other temporary directories fs.defaultFS hdfs://nameNode:10000 i... 阅读全文
posted @ 2015-12-01 13:46 #hanhui 阅读(172) 评论(0) 推荐(0)