摘要: 同步方式 让 hadoop103、hadoop104 去拉取 hadoop102的时间保证集群时间同步4 时间服务器配置(必须root用户) (1)在所有节点关闭ntp服务和自启动 systemctl stop ntpd systemctl disable ntpd (2)修改ntp配置文件 vim 阅读全文
posted @ 2021-07-29 10:48 苟天 阅读(113) 评论(0) 推荐(0) 编辑
摘要: 配置说明 本次对yarn的配置是沿用HDFS的配置,将hadoop102,hadoop103 作为ResourceManager,hadoop102,hadoop103,hadoop104作为NodeManager,同时令hadoop102为JobHistoryServer yarn-site.xm 阅读全文
posted @ 2021-07-29 10:09 苟天 阅读(99) 评论(0) 推荐(0) 编辑
摘要: 环境准备篇 安装的版本 hadoop-3.2.2.tar.gz 解压安装 # 进入安装包存放目录 cd /opt/packages # 解压到安装目录 tar -zxf tar -zxvf hadoop-3.2.2.tar.gz -C ../apps/ # 进入安装目录并创建软链接 cd ../ap 阅读全文
posted @ 2021-07-28 21:54 苟天 阅读(422) 评论(0) 推荐(0) 编辑
摘要: 1.由于zookeeper的选举机制是leader选举,要求 可用节点数量 > 总节点数量/2 。注意 是 > , 不是 ≥。所以需要用三台虚拟机来 装,当然内存足够任性的话选五台也不是不行,我这里就用三台,主机名分别为hd1,hd2,hd3 2.准备好安装包 我选用的版本是apache-zooke 阅读全文
posted @ 2021-07-28 15:41 苟天 阅读(1065) 评论(0) 推荐(0) 编辑
摘要: 1.准备环境 三台虚拟机:单台虚拟机:内存4G,硬盘50G,安装必要环境(个人采用的是centos7 下载地址 http://mirrors.aliyun.com/) 更新Yum源、安装jdk1.8(忽略),安装需要程序 ps: 以下操作用户: root sudo yum install -y ep 阅读全文
posted @ 2021-07-27 14:33 苟天 阅读(62) 评论(0) 推荐(0) 编辑
摘要: 安装 docker yum install docker 启动 docker systemctl start docker 镜像加速 sudo mkdir -p /etc/docker sudo tee /etc/docker/daemon.json <<-'EOF' { "registry-mir 阅读全文
posted @ 2020-10-30 15:46 苟天 阅读(199) 评论(0) 推荐(0) 编辑
摘要: 准备git 1、git 下载 https://git-scm.com/download/win 2、安装 傻瓜式安装即可,记住安装的目录 3、配置 配置git SSH 1、首先申请一个GitHub账号 2、生成SSH秘钥对:Git命令行运行 : ssh-keygen -t rsa -C "你的邮箱地 阅读全文
posted @ 2020-10-28 20:30 苟天 阅读(144) 评论(0) 推荐(0) 编辑