摘要：
Hive中的sql语句是如何转化成MR任务的（面试） 元数据存储在数据库中，默认存在自己自带的derby数据库中（derby在Hive启用的时候会占用元数据库，且数据不会共享给客户端，所以1一次只能有一个客户端使用，开了另一个客户端就会连接不上） 1)、解析器（SQL Parser）：将SQL字符串 阅读全文
摘要：
Hive自定义函数（UDF，UDTF，UDAF） 一UDF：一进一出 1、先创建maven项目并下载依赖 <dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-exec</artifactId> <version>1.2.1 阅读全文
摘要：
hive优化 1、hive的随机抓取策略 hive中的sql都应该经过解析器，编译器，优化器和执行器产生mapreduce作业进行处理，但是在我们使用过程中，对于一些进行查询之类的任务的时候并没有产生mapreduce任务进行处理，这是因为hive的抓取策略帮我们省略了这个步骤，将split切片的过 阅读全文
摘要：
Hive安装搭建 1、上传解压配置环境变量 # 1、解压 tar -zxvf apache-hive-3.1.2-bin.tar.gz -C /usr/soft/ # 2、重名名 mv apache-hive-3.1.2-bin hive-3.1.2 # 3、配置环境变量 vim /etc/prof 阅读全文
摘要：
Hive基本操作 1、Hive库操作 1）创建一个数据库，数据库在HDFS上的默认存储路径是/hive/warehouse/*.db create database testdb; 2)避免要创建的数据库已经存在错误，增加if not exists判断。（标准写法） create database 阅读全文
摘要：
HBase Java API <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>4.12</version> </dependency> <!-- https://mvnrepository.c 阅读全文
摘要：
HBase是什么： HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，用于存储海量的结构化、非结构化、半结构化的数据（底层存储的只有字节数组类型的数据） HBase写流程 客户端向zookeeper建立连接并发送请求获取meta表的元数据的位置信息，和被哪个regionserver所 阅读全文
摘要：
HBase架构 HBase概述：HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，用于存储海量的结构化或者半结构化，非结构化的数据（底层存储的类型只有一种，是字节数组） 1、HBase是可以提供实时计算的分布式数据库，数据保存在HDFS分布式文件系统上，由HDFS保证其高容错性 2、 阅读全文
摘要：
HBase基础命令 五、hbase shell 命名 描述 语法 help ‘命名名’ 查看命令的使用描述 help ‘命令名’ whoami 我是谁 whoami version 返回hbase版本信息 version status 返回hbase集群的状态信息 status table_help 阅读全文
摘要：
Hadoop高可用架构 高可用架构有两个NameNode节点，一个是ActiveNameNode（ANN），一个是StandbyNameNode（SNN），高可用框架中只有一个活跃的NameNode节点，但是备用SNN会持续关注整个集群，并每隔一段时间向JournalNode集群同步日志，SNN也会 阅读全文