12 2021 档案

Flink MySQL cdc分别sink到ES、Kafka、Hudi并通过spark-sql加载Hudi表
摘要：####hadoop、spark、flink、kafka、zookeeper安装参照本博客部署安装 ####组件版本选择 hadoop2.7.5 spark-2.4.8-bin-hadoop2.7 flink-1.13.1-bin-scala_2.11 kafka_2.13-2.6.2 zookee 阅读全文
posted @ 2021-12-21 22:06 菜鸟孤单 阅读(2277) 评论(0) 推荐(0)
spark集群安装部署
摘要：####1.在官网下载spark安装包 # wget https://archive.apache.org/dist/spark/spark-2.4.8/spark-2.4.8-bin-hadoop2.7.tgz ####2.解压 # tar -zxvf spark-2.4.8-bin-hadoop 阅读全文
posted @ 2021-12-21 19:24 菜鸟孤单 阅读(342) 评论(0) 推荐(0)
flink实时计算集群安装部署
摘要：####1.官网下载flink安装包 # wget https://archive.apache.org/dist/flink/flink-1.13.1/flink-1.13.1-bin-scala_2.11.tgz ####2.解压 # tar -zxvf flink-1.13.1-bin-sca 阅读全文
posted @ 2021-12-20 15:02 菜鸟孤单 阅读(339) 评论(0) 推荐(0)
大数据实时存储平台构建
摘要：####1.下载kafka安装包并解压 # wget https://dlcdn.apache.org/kafka/2.6.2/kafka_2.13-2.6.2.tgz # tar -zxvf kafka_2.13-2.6.2.tgz -C /home/hadoop/app/ # ln -s /ho 阅读全文
posted @ 2021-12-17 16:45 菜鸟孤单 阅读(179) 评论(0) 推荐(0)
zookeeper环境构建
摘要：####集群安装(目前企业常用版本3.4.5,3.4.6,3.4.7) ####机器规划 ####1.官网下载zookeeper安装包 #wget https://downloads.apache.org/zookeeper/zookeeper-3.6.3/apache-zookeeper-3.6. 阅读全文
posted @ 2021-12-17 16:16 菜鸟孤单 阅读(66) 评论(0) 推荐(0)
大数据存储计算平台构建(离线存储)
摘要：###版本选择:2.7.5或者2.7.5以上版本均可 ###软件安装准备工作 ###机器规划 ####1.所有服务器关闭防火墙和selinux #systemctl stop firewalld 临时停掉firewalld #systemctl disable firewalld 永久开机关闭fir 阅读全文
posted @ 2021-12-17 16:14 菜鸟孤单 阅读(279) 评论(0) 推荐(0)