1.1大数据平台架构及Hadoop生态圈

1.硬件架构实例

                 

 

2.软件架构实例

               

3.数据流通用概念模型

   a.数据源(互联网、物联网、企业数据)：App、Device、Site

   b.数据收集（ETL、提取、转换、加载）：Flume、Kafka、Sqoop

   c.数据存储：HDFS、Hive/HBase

   d.资源管理：Yarn、Mesos

   e.批处理：MapReduce、Spark core

      流处理：Storm、Spark streaming

    f.数据挖掘（OLAP、BI）：Mahout、MLlib

    g.数据可视化（report）

4.Hadoop生态圈