随笔

从今天开始, 本人会分享学习大数据框架的笔记与总结,主要有

---

- Hadoop(hdfs\mapreduce\yarn)分布式文件系统、分布式计算框架、资源调度框架 

|

- Zookeeper分布式协调框架

|

- Hive基于hadoop的数据仓库分析工具

|

- Hbase分布式数据库

|

- Impala分析工具(依赖hive的元数据)

|

- Sqoop对数据进行导入导出

|

- Azkaban批量工作流任务调度器

|

- Scala语言

|

- Spark大规模数据处理而设计的快速通用的计算引擎

|

- Spark Sql

|

- Kafka 高吞吐量的分布式发布订阅消息系统