会员
众包
新闻
博问
闪存
赞助商
HarmonyOS
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
zhoufly
博客园
首页
新随笔
联系
订阅
管理
上一页
1
2
3
2019年1月18日
hadoop伪分布式搭建
摘要: 安装好jdk 减压hadoop压缩包 cd /home/hadoop/hadoop-2.7.3/etc/hadoop vi hadoop-env.sh 文件末尾处添加 jdk环境变量 export JAVA_HOME=/home/hadoop/bd/jdk1.8.0_144 vi core-site
阅读全文
posted @ 2019-01-18 20:54 zhoufly
阅读(127)
评论(0)
推荐(0)
2019年1月4日
大数据软件安装
该文被密码保护。
阅读全文
posted @ 2019-01-04 15:17 zhoufly
阅读(18)
评论(0)
推荐(0)
2019年1月2日
flume安装
摘要: 1.flume安装 将压缩包减压到当前目录 tar -zxf apache-flume-1.8.0-bin.tar.gz 配置环境变量 编辑当前目录中的 .bashrc 文件(这影响当前用户的环境变量文件若修改全局的可以修改其他文件) vi ~/.bashrc 添加环境变量 export FLUME
阅读全文
posted @ 2019-01-02 23:03 zhoufly
阅读(160)
评论(0)
推荐(0)
2018年12月11日
远程shell脚本执行工具类
摘要: /** * 远程shell脚本执行工具类 */public class RemoteShellExecutorUtils { private static final Logger logger = LoggerFactory.getLogger(RemoteShellExecutorUtils.c
阅读全文
posted @ 2018-12-11 11:15 zhoufly
阅读(1156)
评论(0)
推荐(0)
Spark性能优化
摘要: 1、Spark优化 1) 使用foreachPartitions替代foreach。 原理类似于“使用mapPartitions替代map”,也是一次函数调用处理一个partition的所有数据,而不是一次函数调用处理一条数据。在实践中发现,foreachPartitions类的算子,对性能的提升还
阅读全文
posted @ 2018-12-11 09:03 zhoufly
阅读(8459)
评论(0)
推荐(1)
2018年12月4日
hadoop本地开发环境搭建
摘要: 1:下载hadoop2.7.3并解压 2:配置hadoop2.7.3环境变量 HADOOP_HOME %HADOOP_HOME%\bin 3:下载hadoop-eclipse-plugin插件 网址:https://github.com/winghc/hadoop2x-eclipse-plugin
阅读全文
posted @ 2018-12-04 22:33 zhoufly
阅读(1250)
评论(0)
推荐(0)
2018年11月25日
ssh 免密登录
摘要: 一,单机秘密登录 进入/etc/ssh 文件夹 编辑sshd_config 文件(sshd_config是ssh 服务端文件,ssh_config是客户端文件) sudo vi sshd_config 将一下注释放开即可 RSAAuthentication yes #私钥认证PubkeyAuthen
阅读全文
posted @ 2018-11-25 11:19 zhoufly
阅读(1627)
评论(0)
推荐(0)
2018年11月18日
CentOS6.5yum配置本地源
摘要: 进入repos.d目录 cd /etc/yum.repos.d 创建临时文件夹repo.bak(文件夹名随意起 使用root权限) 将以下文件移到repo.bak文件夹(以防备用) -rw-r--r--. 1 root root 1926 Nov 27 2013 CentOS-Base.repo-r
阅读全文
posted @ 2018-11-18 22:50 zhoufly
阅读(272)
评论(0)
推荐(0)
上一页
1
2
3
公告