12 2018 档案

远程shell脚本执行工具类
摘要：/** * 远程shell脚本执行工具类 */public class RemoteShellExecutorUtils { private static final Logger logger = LoggerFactory.getLogger(RemoteShellExecutorUtils.c 阅读全文
posted @ 2018-12-11 11:15 zhoufly 阅读(1156) 评论(0) 推荐(0)
Spark性能优化
摘要：1、Spark优化 1） 使用foreachPartitions替代foreach。 原理类似于“使用mapPartitions替代map”，也是一次函数调用处理一个partition的所有数据，而不是一次函数调用处理一条数据。在实践中发现，foreachPartitions类的算子，对性能的提升还 阅读全文
posted @ 2018-12-11 09:03 zhoufly 阅读(8459) 评论(0) 推荐(1)
hadoop本地开发环境搭建
摘要：1：下载hadoop2.7.3并解压 2：配置hadoop2.7.3环境变量 HADOOP_HOME %HADOOP_HOME%\bin 3：下载hadoop-eclipse-plugin插件 网址：https://github.com/winghc/hadoop2x-eclipse-plugin 阅读全文
posted @ 2018-12-04 22:33 zhoufly 阅读(1250) 评论(0) 推荐(0)