摘要： 一、HBase数据模型 ### HBase的数据也是以表（有行有列）的形式存储 ~~~ HBase逻辑架构 二、HBase物理存储 三、HBase整体架构 ### Zookeeper ~~~ 实现了HMaster的高可用：保存了HBase的元数据信息，是所有HBase表的寻址入口 ~~~ 对HMas 阅读全文

摘要： 一、HBase 简介 ### [HBase] ~~~ [HBase简介之HBase是什么] ~~~ [HBase简介之HBase特点及应用场景] ~~~ [HBase数据模型] ~~~ [HBase整体架构] ### HBase是什么 ~~~ HBase 基于 Google的BigTable论文而来 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： 一、Hadoop-HA-YARN-HA搭建：YARN-HA配置 ### YARN-HA工作机制 ~~~ 官方文档：https://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarnsite/ResourceManagerHA.html 二、YA 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： 一、启动HDFS-HA集群 ### 在各个JournalNode节点上， ~~~ 输入以下命令启动journalnode服务(去往HA安装目录不要使用环境变量中命令) [root@linux121 ~]# /opt/yanqi/servers/ha/hadoop-2.9.2/sbin/hadoop- 阅读全文

摘要： 一、[Hadoop-HA-HDFS-HA搭建]：HDFS-HA集群配置 ### HDFS-HA集群配置地址 https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoophdfs/HDFSHighAvailabilityWithQJM 阅读全文

摘要： 一、分布式锁 ### [zookeeper] ~~~ [zookeeper应用实践之分布式锁介绍] ~~~ [zookeeper应用实践之分布式锁思路] ~~~ [zookeeper应用实践之分布式锁实现] ~~~ [zookeeper应用实践之分布式锁代码验证] ### 什么是锁 ~~~ # 在单 阅读全文

摘要： 一、[Hadoop-HA-HDFS-HA工作机制]：HA 概述 ### [Hadoop-HA-HDFS-HA工作机制]：HA 概述 ~~~ 所谓HA（High Available），即高可用（7*24小时不中断服务）。 ~~~ # 实现高可用最关键的策略是消除单点故障。 ~~~ Hadoop-HA严 阅读全文

摘要： 一、ZAB一致性协议 ### 分布式数据一致性问题 ~~~ # 为什么会出现分布式数据一致性问题? ~~~ 将数据复制到分布式部署的多台机器中可以消除单点故障防止系统由于某台(些)机器宕机导致的不可用。 ~~~ 通过负载均衡技术，能够让分布在不同地方的数据副本全都对外提供服务。有效提高系统性能。 ~ 阅读全文

摘要： 一、Zookeeper应用实践 ### [zookeeper] ~~~ [zookeeper应用实践之服务器动态上下线监听] ~~~ [zookeeper应用实践之服务器动态上下线总结] ### Zookeeper实践 ~~~ ZooKeeper是一个典型的发布/订阅模式的分布式数据管理与协调框架， 阅读全文

摘要： 一、编译打印 ### 运行server ~~~ 修改配置参数server端口参数3333 ~~~ server端口参数4444 ### 运行服务并打印 ~~~ # 运行服务器3333 D:\JAVA\jdk1.8.0_231\bin\java.exe "-javaagent:D:\IntelliJI 阅读全文

摘要： 一、Zookeeper内部原理 ~~~ [zookeeper内部原理之Leader选举] ~~~ [zookeeper内部原理之ZAB一致性协议] ### Leader选举：选举机制 ~~~ # 半数机制： ~~~ 集群中半数以上机器存活，集群可用。所以Zookeeper适合安装奇数台服务器。 ~~ 阅读全文

摘要： 一、Zookeeper的基本使用 ### ZooKeeper命令行操作 ~~~ 现在已经搭建起了一个能够正常运行的zookeeper服务了，所以接下来， ~~~ 就是来借助客户端来将zookeeper的数据节点进行操作 ~~~ # 首先，进入到zookeeper的bin目录之后通过zkClient进 阅读全文

摘要： 一、Zookeeper-开源客户端 ### [zookeeper] ~~~ [Zookeeper开源客户端之监听节点变化] ~~~ [Zookeeper开源客户端之监听器] ~~~ [Zookeeper开源客户端之获取数据节点存在/更新/删除] ### ZkClient ~~~ # ZkClient 阅读全文

摘要： 一、监听节点变化 ### 监听节点变化 package com.yanqi.zk.demo; import org.I0Itec.zkclient.IZkChildListener; import org.I0Itec.zkclient.ZkClient; import org.apache.zoo 阅读全文

摘要： 一、[Zookeeper集群模式环境搭建] ：Zookeeper环境搭建 ### Zookeeper的搭建方式 ~~~ # Zookeeper安装方式有三种，单机模式和集群模式以及伪集群模式。 ~~~ 单机模式：Zookeeper只运行在一台服务器上，适合测试环境； ~~~ 伪集群模式：就是在一台服 阅读全文

摘要： 一、Zookeeper数据结构与监听机制 ~~~ [Zookeepe数据结构与监听之ZNode类型] ~~~ [Zookeepe数据结构与监听之ZNode状态信息] ~~~ [Zookeepe数据结构与监听之Watcher机制] ### ZooKeeper数据模型Znode ~~~ 在ZooKeep 阅读全文

摘要： 一、大纲 ### Zookeeper简介 ~~~ Zookeeper是什么？【熟悉】 ~~~ zookeeper的架构组成【重点掌握】 ~~~ Zookeeper环境搭建【熟悉】 ~~~ Zookeeper数据结构与监听机制【重点掌握】 ~~~ Zookeeper的基本使用【练习】 ~~~ Zook 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： 一、Impala优化 ### Impala优化 cloudera官网上的Impala文档，原名为《Impala Performance Guidelines and Best Practices》。 主要介绍了为了提升impala性能应该考虑的一些事情，结合实际考虑： ### 基本优化策略 ~~~ 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： 一、Impala sql语法 ### 数据库特定语句:创建数据库 ~~~ # CREATE DATABASE语句用于在Impala中创建新数据库。 CREATE DATABASE IF NOT EXISTS database_name; ~~~ # 这⾥，IF NOT EXISTS是一个可选的子句。 阅读全文

摘要： 一、Impala的JDBC⽅式查询 ### Impala的JDBC⽅式查询 ~~~ 在实际工作当中，因为impala的查询比较快，所以可能有会使用到impala来做数据库查询的情况， ~~~ 我们可以通过java代码来进行操作impala的查询 ### 导⼊jar包 <dependencies> < 阅读全文

摘要： 一、Impala进阶 ### Impala的负载均衡 ~~~ Impala主要有三个组件，分别是statestore，catalog和impalad， ~~~ 对于Impalad节点，每一个节点都可以接收客户端的查询请求， ~~~ 并且对于连接到该Impalad的查询还要作为Coordinator节 阅读全文

摘要： 一、Impala的使⽤ ### [交互查询工具Impala] ~~~ [Impala的使用-Impala-SQL语法] ~~~ [Impala的使用-Impala-导入数据] ### Impala的使用 ~~~ # Impala的核心开发语言是sql语句， ~~~ Impala有shell命令行窗口 阅读全文

摘要： 一、短路读取配置步骤 ### 创建短路读取本地中转站 ~~~ DataNode启动失败有可能是该文件夹权限问题。 ~~~ 所有节点创建一下目录 [root@linux121 ~]# mkdir -p /var/lib/hadoop-hdfs ### 修改hdfs-site.xml [root@lin 阅读全文

摘要： 一、Impala⼊门案例 ### Impala⼊门案例 ~~~ 使⽤用Yum⽅式安装Impala后，impala-shell可以全局使用； ~~~ 进入impala-shell命令⾏impala-shell进⼊到impala的交互窗⼝ [root@linux123 ~]# impala-shell 阅读全文

摘要： 一、Imapla的架构原理 ### [交互查询工具Impala] ~~~ [Impala架构原理] ~~~ [Impala单机执行计划] ~~~ [Impala分布式执行计划] ~~~ [Impala查询流程分析] ### Impala的组件 ~~~ Impala是一个分布式，大规模并行处理(MPP 阅读全文

摘要： 一、安装Impala ### [交互查询工具Impala] ~~~ [Impala的安装及入门案例-安装步骤] ~~~ [Impala的安装及入门案例-配置详解] 二、集群规划 服务名称 linux121 linux122 linux123 impala-catalogd 不安装 不安装 安装 im 阅读全文

摘要： 一、Impala概述 ### [交互查询工具Impala] ~~~ [交互查询工具Impala] ~~~ [Impala的优势] ~~~ [Impala的缺点及适用场景] ### Impala大纲 ~~~ 第 1 部分 Impala概述（Impala是什么，优势，劣势，与Hive对比） ~~~ 第 阅读全文

摘要： 一、集群准备 ### [交互查询工具Impala] ~~~ [Impala的安装及入门案例-准备环境] ~~~ [Impala的安装及入门案例-制作网络源] ### 安装Hadoop,Hive ~~~ # Impala的安装需要提前装好Hadoop，Hive这两个框架， ~~~ hive需要在所有的 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： 一、常用命令 序号 命令 类 说明 1 import ImportTool 将数据导入到集群 2 export ExportTool 将集群数据导出 3 codegen CodeGenTool 获取数据库中某张表数据生成Java并打包Jar 4 create-hive-table CreateHiv 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： 一、MySQL 到 Hive ### MySQL 到 Hive ~~~ 导入：数据进入大数据平台：import ~~~ 导出：数据离开大数据平台：export ### 在 hive 中创建表： [root@linux123 ~]# hive hive (default)> use mydb; ~~~ 阅读全文