摘要：
一、版本信息 JDK 1.8 spark 3.2.1 二、安装部署 1）上传解压缩文件 tar -zxvf spark-3.2.1-bin-hadoop3.2.tgz 2）配置环境变量 vim /etc/profile # Spark export SPARK_HOME=/opt/spark-3.2 阅读全文
posted @ 2023-04-04 13:44
Jerry·
阅读(19)
评论(0)
推荐(0)
摘要：
一、版本信息 JDK 1.8 flink 1.16.0 二、部署架构 采用flink-on-yarn架构，无需配置集群。客户端把 Flink 应用提交给 Yarn 的 ResourceManager,Yarn 的 ResourceManager 会向 Yarn 的 NodeManager 申请容器。 阅读全文
posted @ 2023-04-04 13:44
Jerry·
阅读(62)
评论(0)
推荐(0)
摘要：
一、版本信息 Postgresql 14.5 timescaledb 2.8.1 二、部署架构 主机及IP地址 Hostname IP Address 别名 pg02 192.168.11.222 AN pg03 192.168.11.223 DN1 pg04 192.168.11.224 DN2 阅读全文
posted @ 2023-04-04 13:43
Jerry·
阅读(104)
评论(0)
推荐(0)
摘要：
一、版本信息 JDK 1.8 Hive 3.1.3 MySQL 8.0.30 二、安装部署Mysql 参考地址：离线安装MySql8.0(主从模式) 三、安装部署Hive 1. 安装准备 1） 把 apache-hive-3.1.3-bin.tar.gz 上传到 linux 的/opt/src 目录 阅读全文
posted @ 2023-04-04 13:42
Jerry·
阅读(58)
评论(0)
推荐(0)
摘要：
基础环境：Centos 7.9 一、版本信息 JDK 1.8 Hadoop 3.1.3 二、部署前准备： 1.执行init.sh（环境初始化脚本） 2.执行java.sh（安装java环境） 3.hosts主机名映射 4.ssh免密登录（管理节点对数据节点） 5.集群时间同步 6.部署zookeep 阅读全文
posted @ 2023-04-04 13:41
Jerry·
阅读(45)
评论(0)
推荐(0)
摘要：
一、版本信息 JDK 1.8 kafka 3.3.1 二、集群架构 Kafka-Kraft 架构介绍 左图为 Kafka 原有架构，元数据在 zookeeper 中，运行时动态选举 controller，由controller 进行 Kafka 集群管理。右图为 kraft 模式架构， 不再依赖 z 阅读全文
posted @ 2023-04-04 13:40
Jerry·
阅读(64)
评论(0)
推荐(0)
摘要：
（1） 将/data/zookeeper/conf 这个路径下的 zoo_sample.cfg 修改为 zoo.cfg mv zoo_sample.cfg zoo.cfg （2） 打开 zoo.cfg 文件，修改 dataDir 路径： vim zoo.cfg 修改数据存储路径配置 dataDir= 阅读全文
posted @ 2023-04-04 13:37
Jerry·
阅读(34)
评论(0)
推荐(0)
摘要：
文件下载： ansible_v2.9.9 flink-1.16.0 hadoop-3.1.3 hive-3.1.3 kafka_2.13-3.3.1 python-3.8.10 spark-3.2.1 tools.tgz zookeeper-3.6.3 一、安装并配置ansible自动化工具 1）上 阅读全文
posted @ 2023-04-04 13:35
Jerry·
阅读(26)
评论(0)
推荐(0)
摘要：
CDH介绍： CDH 全称 Cloudera’s Distribution Including Apache Hadoop，是 Cloudera 公司提供的一个 Apache Hadoop 发行版。CDH 将 Hadoop 与其他十几个关键的开源项目集成，并且加入了集群自动化安装、中心化管理、集群监 阅读全文
posted @ 2023-04-04 13:17
Jerry·
阅读(674)
评论(0)
推荐(0)
浙公网安备 33010602011771号