摘要: 三、课堂目标 1. 掌握hbase的数据存储原理 2. 掌握hbase的读流程和写流程 3. 掌握hbase表的region拆分和合并 4. 掌握hbase表的预分区 四、知识要点 1. hbase的数据存储原理 HRegionServer=》多个Region Region=》多个store,一个列 阅读全文
posted @ 2020-06-26 22:32 起始的地方 阅读(498) 评论(0) 推荐(0)
摘要: 三、课堂目标 理解hbase的核心概念 掌握hbase的特点 掌握hbase的架构 掌握hbase存储数据结构 掌握hbase的安装部署 掌握hbase shell命令基本操作 四、知识要点 1. habse是什么 漫画学习hbase 最易懂的Hbase架构原理解析http://developer. 阅读全文
posted @ 2020-06-26 21:06 起始的地方 阅读(178) 评论(0) 推荐(0)
摘要: 四、知识点 1. 数据仓库基本介绍 英文名称为==Data Warehouse==,可简写为DW或DWH。数据仓库的目的是==构建面向分析的集成化数据环境==,为企业提供==决策支持==(Decision Support)。它出于分析性报告和决策支持目的而创建。 数据仓库本身并不“生产”任何数据,同 阅读全文
posted @ 2020-06-26 18:13 起始的地方 阅读(406) 评论(0) 推荐(0)
摘要: 1、hive的企业级调优 1.1 Fetch抓取(鸡肋) Fetch抓取是指,==Hive中对某些情况的查询可以不必使用MapReduce计算== 例如:select * from employee; 在这种情况下,Hive可以简单地读取employee对应的存储目录下的文件,然后输出查询结果到控制 阅读全文
posted @ 2020-06-26 17:51 起始的地方 阅读(265) 评论(0) 推荐(0)
摘要: 1. order by,sort by,distribute by,cluster by的区别? 2. 聚合函数是否可以写在order by后面,为什么? 需求催生技术进步 一、课前准备 二、课堂主题 三、课堂目标 1. 掌握hive表的数据压缩和文件存储格式 2. 掌握hive的JDBC代码操作 阅读全文
posted @ 2020-06-26 17:07 起始的地方 阅读(191) 评论(0) 推荐(0)
摘要: 一、课前准备 1. 安装hive环境 2. 掌握hive sql DDL和DML操作 3. 掌握hive sql 的分区表创建和使用 二、课堂主题 本课堂主要围绕hive的查询操作进行讲解,主要包括以下几个方面 1. select 查询语句中的基本查询 2. select查询语句的分组 3. sel 阅读全文
posted @ 2020-06-26 16:33 起始的地方 阅读(170) 评论(0) 推荐(0)
摘要: 作业题 1. 简述hive工作原理 1、执行查询:Hive接口,命令行或者web ui发送查询驱动程序 2、get plan:驱动程序查询编译器 3、词法分析/语法分析 4、语义分析 5、逻辑计划产生 6、逻辑计划优化 7、物理计划生成 8、物理计划优化 9、物理计划执行 10、查询结果返回 提示: 阅读全文
posted @ 2020-06-26 15:04 起始的地方 阅读(262) 评论(0) 推荐(0)