08 2014 档案

spark cdh5编译安装[spark-1.0.2 hadoop2.3.0 cdh5.1.0]
摘要：前提你得安装有Hadoop 我的版本hadoop2.3-cdh5.1.01、下载maven包2、配置M2_HOME环境变量，配置maven 的bin目录到path路径3、export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCa... 阅读全文
posted @ 2014-08-27 17:07 在路上....... 阅读(1494) 评论(0) 推荐(0)
spark上 spark-shell和java -jar访问hdfs路径问题
摘要：部署spark集群使用spark包spark-1.0.2-bin-hadoop2.tgz在spark-shell和java -jar访问hadoop hdfs上的文件写法是有区别的在spark-shell直接使用/user/ning/1.txt 之类的路径，不用加hdfs://host:port 的... 阅读全文
posted @ 2014-08-24 07:26 在路上....... 阅读(1484) 评论(0) 推荐(0)
spark运行java-jar:Exception in thread "main" java.io.IOException: No FileSystem for scheme: hdfs
摘要：今天碰到的一个 spark问题，困扰好久才解决首先我的spark集群部署使用的部署包是官方提供的spark-1.0.2-bin-hadoop2.tgz部署在hadoop集群上。在运行java jar包的时候使用命令java -jar chinahadoop-1.0-SNAPSHOT.jar chin... 阅读全文
posted @ 2014-08-24 07:20 在路上....... 阅读(7588) 评论(1) 推荐(1)