摘要：
hive语句的执行顺序 1.from 2.join on 或 lateral view explode(需炸裂的列) tbl as 炸裂后的列名 3.where 4.group by 5.聚合函数 如Sum() avg() count(1)等 6.having 在此开始可以使用select中的别名 阅读全文
摘要：
1、Hive分区 .2 静态分区（SP） 静态分区（SP）static partition–partition by (字段 类型) 借助于物理的文件夹分区，实现快速检索的目的。 一般对于查询比较频繁的列设置为分区列。 分区查询的时候直接把对应分区中所有数据放到对应的文件夹中。 创建单分区表语法： 阅读全文
摘要：
1、Hive基本概念 1.1 Hive简介 为什么使用Hive? 如果直接使用hadoop的话，人员学习成本太高，项目要求周期太短，MapReduce实现复杂查询逻辑开发难度太大。如果使用hive的话，可以操作接口采用类SQL语法，提高开发能力，免去了写MapReduce，减少开发人员学习成本，功能 阅读全文
摘要：
二、MapReduce架构特点 MapReduce1.x JobTracker 主节点，单点，负责调度所有的作用和监控整个集群的资源负载。 TaskTracker 从节点，自身节点资源管理和JobTracker进行心跳联系，汇报资源和获取task。 Client 以作业为单位，规划作业计算分布，提交 阅读全文
摘要：
一、Hadoop-HA 1.1 Hadoop1.x带来的问题 1、单点故障 2、水平扩展 将来服务器启动的时候，启动速度慢 3、namenode随着业务的增多，内存占用也会越来越多 如果namenode内存占满，将无法继续提供服务 4、日志丢失问题 1.2 设计思路 1、hadoop2.x启用了主备 阅读全文
摘要：
2.4 HDFS的权限 HDFS对权限的控制 a. 只能防止好人做错事 b. 不能防止坏人做坏事 但是告诉你是谁，他就认为你是谁！！ 2.5 机架感知 机架感知是为了保证副本在集群中的安全性 我们需要将节点放在不同的DN节点上，节点也需要一定的考量 可靠性，可用性，带宽消耗 第一个节点： 集群内部（ 阅读全文