随笔分类 - HADOOP学习笔记
摘要:1. Yarn Ha原理 ResourceManager记录着当前集群的资源分配和Job运行状态,Yarn Ha利用Zookeeper等共享存储平台来存储这些信息以达到高可用。利用Zookeeper实现ResourceManager自动故障转移。 Yarn Ha架构图 MasterHADemon:控
阅读全文
摘要:1. 什么是HA HA是High Availability的简写,即高可用,指当当前工作中的机器宕机后,会自动处理这个异常,并将工作无缝地转移到其他备用机器上,以保证服务的高可用。 Hadoop的HA模式是最常见的==生产环境==上的安装部署方式。 Hadoop Ha包含HDFS HA和Yarn H
阅读全文
摘要:为提升hive可用性,提升集群稳定性。对已搭建好的hive进行高可用改造。没有搭建好hive的,请先移步搭建好hive,并且beeline测试连通,在参考本文。 hive Server2高可用 Hive 从 0.14版本开始,使用zookeeper实现了Hive Server2的HA功能,Clien
阅读全文
摘要:1.下载 wget https://mirrors.tuna.tsinghua.edu.cn/apache/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz 2. 解压并安装 tar -zxvf hive-3.1.2.tar.gz -C /usr/local
阅读全文
摘要:HDFS(Hadoop Distribute File Ststem) HDFS全程是Hadoop Distribute File System,Hadoop分布式文件系统。它是一种允许文件通过在多台主机上分享的文件系统,可以让多台机器上的多个用户分享文件和存储空间。类似的分布式文件管理系统还有很多
阅读全文

浙公网安备 33010602011771号