zookeeper部署指南
摘要:安装zoopeeper3.4.6 zk集群在搭建部署的时候,通常选择 2n+1 奇数台。底层 Paxos 算法支持(过半成功)。 zk安全前提 服务器基础环境 IP 主机名 hosts映射 防火墙关闭 时间同步 ssh免密登录 JDK环境 jdk1.8 配置好环境变量 zk具体安装部署 集群规划 3
阅读全文
spark部署指南
摘要:Spark安装 Spark环境搭建-Local 基本原理 在本地使用单机多线程模拟Spark集群中的各个角色 Local模式就是常用于本地开发测试,本地还分为local单线程和local-cluster多线程; 本质:启动一个JVM Process进程(一个进程里面有多个线程),执行任务Task 该
阅读全文
hive部署指南
摘要:server1上安装mariadb 安装mariadb #执行安装 yum install mariadb-embedded mariadb-libs mariadb-bench mariadb mariadb-server #启动mariadb systemctl start mariadb #查
阅读全文
hadoop部署指南
摘要:安装 hadoop-3.3.0 Apache大数据组件下载路径 https://archive.apache.org/dist/ 集群规划 server1:NN,RM agent1:SNN,DN,NM agent2:DN,NM agent3:DN,NM 路径 服务器基础环境准备 安装包目录结构 配置
阅读全文
04_配置linux集群
摘要:配置linux集群 克隆linux 配置4台虚拟机的内存 4台虚拟机再加上windows本身, 需要同时运行5台机器, 所以在分配的时候, server1节点配置8g,3个agent节点配置6g 下面是以node1为例对内存进行配置: 配置mac地址 先配置agent1的mac地址 配置agent2
阅读全文
03_单台Linux机器准备
摘要:修改 linux的网卡信息 修改文件 /etc/sysconfig/network-scripts/ifcfg-ens32 TYPE="Ethernet" PROXY_METHOD="none" BROWSER_ONLY="no" BOOTPROTO="static" DEFROUTE="yes"
阅读全文
02_安装Centos
摘要:使用虚拟机模拟硬件 安装目录放到 d:/opt/centos/node1 删除不用的硬件 删除前 删除后 关联centOS镜像 安装centos镜像 直接回车 镜像检测,在这里可以直接按下Esc键,跳过检测 等待一会, 就会出现以下界面 以root用户身份登录: 输入 root , 然后输入密码 即
阅读全文
01_安装VMware虚拟机
摘要:安装虚拟机步骤1运行“VMware_workstation_full_12.5.2.exe”(或者其他版本) 步骤2引导页面,直接点击下一步 步骤3同意许可,然后继续点击下一步步骤4选择VMware安装位置,然后点击下一步 步骤5用户体验设置,建议全部取消勾选,然后点击下一步 步骤6根据个人喜好选择
阅读全文