Apache Spark 1.4 读取 hadoop 2.6 文件系统上文件
摘要:scala> val file = sc.textFile("hdfs://9.125.73.217:9000/user/hadoop/logs") scala> val count = file.flatMap(line => line.split(" ")).map(word => (word,1)).reduceByKey(_+_) scala> count.collect() ...
阅读全文
在RHEL 6.5上部署Hadoop 2.6伪分布式模式(单机)
摘要:第一步:安装JAVA 1.7 此步骤略过,太简单了,可参考这个: http://blog.sina.com.cn/s/blog_6a7cdcd40101b1j6.html 第二步:创建Haddop专用用户 虽然使用root用户也可以部署hadoop,但从系统安全及规范的角度考虑,还是建议大家创建专用的用户(本例中为hadoop,实际中...
阅读全文
R语言数据分析、展现与实例 (第一周)
摘要:课后习题: x1 = c(13,15,16,16,19,20,20,21,22,22,25,25,25,25,30,33,33,35,35,35,35,36,40,45,46,52,70); print(round(mean(x1))); #平均值 print(median(x1,na.rm=TRUE)); #中值
阅读全文