----
# Hadoop 家族技能图谱
- Hadoop
- Zookeeper
- Avro
- Chukwa
- Ambari
- Whirr
- Bigtop
- HCatalog
- Hue
- HBase
- Pig
- Sqoop
- Cassandra
- Hama
- Flume
- Giraph
- Oozie
- Crunch
- Hive
- Mahout
----
## Hive 技能图谱
### Hive介绍
### Hive系统架构
- MetaStore
- Derby
- MySQL
- HDFS
- /user/hive/warehouse
- MapReduce
### Hive配置文件
- hive-env.sh
- hive-site.xml
- hive-log4j.properties
### Hive命令行
- hive-config
- hive shell
- quit,exit
- reset
- set
- add,list,delete FILES
- ! <命令>
- dfs <命令>
- HQL
- source FILES
- hive service
- hive-service cli
- hive-service hiveserver
- hive-service metastore
- hive-service hwi
- hive-service jar
### HiveQL
- 语法关键字
- show databases
- show PARTITIONS
- show tables
- create table
- load data(local) inpath
- Select*from
- desc,alert,drop
- limit,as,case when then,union
- like,group by,having
- order by,sort by
- cluster by
- 数据类型
- 简单类型
- tinyint,smallint,int,bigint
- float,double
- boolean
- string
- timestamp
- binary
- 复杂类型
- arry
- map
- struct
- 表
- 内部表
- 外部表
- HDFS
- HBase
- Cassandra
- DynamoDB
- 表查询
- 单表查询
- lnner joins
- Outer joins
- Semi joins
- Map joins
- 子查询
- 视图
### 数据表设计
- 每日一表
- 每日一表分区
- 按桶分散数据
### Hive优化
- 表分区Partitions
- 表存储桶buckets
- 表压缩
- 索引
- bitmap indexes
- 执行计划
- 控制Mapper.Reduce数量
### 访问方式
- Hive Shell
- Java JDBC API
- Thrift Client
- RHive
### 自定义函数
- 自定义函数UDF
- 自定义聚合函数UADF
### Hive安全
- 认证
- hive.files.umask.value
- hive.metastore.authorization.storage.checks
- hive.metastore.execute.setugi
- 授权
- hive.security.authorization.enabled
- hive.security.authorization.createtable.owner.grants
- hive.security.authorization.createtable.user.grants
- 权限模型
- User
- Group
- Role
### Web控制台
- hwi:9999
### 软件集成
- Zookeeper
- Thrift
- Ooize
- HCatalog
- AWS
### Hive案例
----
