牵牛花

摘要： 转：spark通过合理设置spark.default.parallelism参数提高执行效率 spark中有partition的概念（和slice是同一个概念，在spark1.2中官网已经做出了说明），一般每个partition对应一个task。在我的测试过程中，如果没有设置spark.defaul 阅读全文

摘要： 编译hadoop2.6.4 1、JDK8版本过高，换成JDK7； 2、换成命令行mvn package -Pdist,native -DskipTests-Dtar-Dmaven.javadoc.skip=true 注意：检查命令中-符号，而不是中文—，-Dmaven.javadoc.skip=tr 阅读全文