Fork me on Gitee

随笔分类 -  HADOOP学习笔记

摘要:1. Yarn Ha原理 ResourceManager记录着当前集群的资源分配和Job运行状态,Yarn Ha利用Zookeeper等共享存储平台来存储这些信息以达到高可用。利用Zookeeper实现ResourceManager自动故障转移。 Yarn Ha架构图 MasterHADemon:控 阅读全文
posted @ 2023-02-25 12:39 shine-rainbow 阅读(757) 评论(0) 推荐(0)
摘要:1. 什么是HA HA是High Availability的简写,即高可用,指当当前工作中的机器宕机后,会自动处理这个异常,并将工作无缝地转移到其他备用机器上,以保证服务的高可用。 Hadoop的HA模式是最常见的==生产环境==上的安装部署方式。 Hadoop Ha包含HDFS HA和Yarn H 阅读全文
posted @ 2023-02-25 11:14 shine-rainbow 阅读(2775) 评论(0) 推荐(0)
摘要:为提升hive可用性,提升集群稳定性。对已搭建好的hive进行高可用改造。没有搭建好hive的,请先移步搭建好hive,并且beeline测试连通,在参考本文。 hive Server2高可用 Hive 从 0.14版本开始,使用zookeeper实现了Hive Server2的HA功能,Clien 阅读全文
posted @ 2023-02-17 17:07 shine-rainbow 阅读(2209) 评论(1) 推荐(0)
摘要:1.下载 wget https://mirrors.tuna.tsinghua.edu.cn/apache/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz 2. 解压并安装 tar -zxvf hive-3.1.2.tar.gz -C /usr/local 阅读全文
posted @ 2022-06-01 16:16 shine-rainbow 阅读(1397) 评论(0) 推荐(0)
摘要:HDFS(Hadoop Distribute File Ststem) HDFS全程是Hadoop Distribute File System,Hadoop分布式文件系统。它是一种允许文件通过在多台主机上分享的文件系统,可以让多台机器上的多个用户分享文件和存储空间。类似的分布式文件管理系统还有很多 阅读全文
posted @ 2021-03-31 23:59 shine-rainbow 阅读(669) 评论(0) 推荐(0)