秋华 - 博客园

2020年7月22日

摘要： 1 Hive安装地址 1）Hive官网地址 http://hive.apache.org/ 2）文档查看地址 https://cwiki.apache.org/confluence/display/Hive/GettingStarted 3）下载地址 http://archive.apache.or 阅读全文

posted @ 2020-07-22 11:45 秋华阅读(363) 评论(0) 推荐(0)

Hive 基础（一）：使用基础(1)Hive 基本概念

摘要： 1 什么是 Hive Hive：由 Facebook 开源用于解决海量结构化日志的数据统计。 Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类 SQL 查询功能本质是：将 HQL 转化成 MapReduce 程序 1）Hive 处理的数据存储在 HD 阅读全文

posted @ 2020-07-22 11:06 秋华阅读(435) 评论(0) 推荐(0)

2020年7月21日

Hadoop基础（四十）：HDFS HA 高可用（三）YARN-HA 配置

摘要： 1 YARN-HA 工作机制 1. 官方文档： http://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/ResourceManagerHA.html 2. YARN-HA 工作机制，如图 3-23 所示 2 配置 YARN- 阅读全文

posted @ 2020-07-21 15:51 秋华阅读(390) 评论(0) 推荐(0)

Hadoop基础（三十九）：HDFS HA 高可用（二）HDFS-HA 集群配置

摘要： 1 环境准备 1. 修改 IP 2. 修改主机名及主机名和 IP 地址的映射 3. 关闭防火墙 4. ssh 免密登录 5. 安装 JDK，配置环境变量等 2 规划集群 3 配置 Zookeeper 集群 1. 集群规划在 hadoop102、hadoop103 和 hadoop104 三个节点上阅读全文

posted @ 2020-07-21 15:27 秋华阅读(279) 评论(0) 推荐(0)

Hadoop基础（三十八）：HDFS HA 高可用（一）

摘要： 1 HA 概述 1）所谓 HA（High Available），即高可用（7*24 小时不中断服务）。 2）实现高可用最关键的策略是消除单点故障。HA 严格来说应该分成各个组件的 HA 机制： HDFS 的 HA 和 YARN 的 HA。 3）Hadoop2.0 之前，在 HDFS 集群中 Name 阅读全文

posted @ 2020-07-21 12:33 秋华阅读(239) 评论(0) 推荐(0)

Hadoop基础（三十七）：Zookeeper 内部原理

摘要： 1 节点类型 2 Stat 结构体 1）czxid-创建节点的事务 zxid 每次修改 ZooKeeper 状态都会收到一个 zxid 形式的时间戳，也就是 ZooKeeper 事务 ID。事务 ID 是 ZooKeeper 中所有修改总的次序。每个修改都有唯一的 zxid，如果 zxid1 小于阅读全文

posted @ 2020-07-21 11:57 秋华阅读(214) 评论(0) 推荐(0)

Hadoop基础（三十六）：监听服务器节点动态上下线案例

摘要： 1．需求某分布式系统中，主节点可以有多台，可以动态上下线，任意一台客户端都能实时感知到主节点服务器的上下线。 2．需求分析，如图 5-12 所示 3．具体实现（0）先在集群上创建/servers 节点 [zk: localhost:2181(CONNECTED) 10] create /serv 阅读全文

posted @ 2020-07-21 11:56 秋华阅读(368) 评论(0) 推荐(0)

Hadoop基础（三十五）：Zookeeper API 应用客户端模式

摘要： 1 Vscode 环境搭建 1.1．创建一个 Maven 工程参照Maven 专题（二）：vscode 创建一个java Maven项目（vscode）以HdfsClientDemo 为例 1.2．添加 pom 文件 <dependencies> <dependency> <groupId>jun 阅读全文

posted @ 2020-07-21 10:37 秋华阅读(223) 评论(0) 推荐(0)

2020年7月20日

Hadoop基础（三十四）：Zookeeper 客户端命令行操作

摘要：客户端命令行操作 1．启动客户端 [atguigu@hadoop103 zookeeper-3.4.10]$ bin/zkCli.sh 2．显示所有操作命令 [zk: localhost:2181(CONNECTED) 1] help 3．查看当前 znode 中所包含的内容 [zk: localh 阅读全文

posted @ 2020-07-20 22:11 秋华阅读(340) 评论(0) 推荐(0)

Hadoop基础（三十三）：Zookeeper 分布式安装部署

摘要： 1．集群规划在 hadoop102、hadoop103 和 hadoop104 三个节点上部署 Zookeeper。 2．解压安装（1）解压 Zookeeper 安装包到/opt/module/目录下 [atguigu@hadoop102 software]$ tar -zxvf zookeep 阅读全文

posted @ 2020-07-20 21:20 秋华阅读(258) 评论(0) 推荐(0)

秋华

公告