大数据技术连载-00-大数据技术的学习路径

大数据技术，也是数据技术，是对数据进行采集，存储，计算的处理过程。按照这些处理过程，可以分为以下几个板块。

大数据技术板块划分

• 数据采集
  • flume kafka logstash filebeat ...
• 数据存储
  • mysql redis hbase hdfs ...
    • 虽然mysql不属于大数据范畴 但是我在这也列出来了，因为你在工作中离不开它
• 数据查询
  • hive impala elasticsearch kylin ...
• 数据计算
  • 实时计算
    • storm sparkstreaming flink ...
  • 离线计算
    • hadoop spark ...
• 其他框架
• zookeeper 

数据挖掘和大数据工程，是大数据的两个不同的细分方向。

数据挖掘偏向于数据建模和数据分析，发现数据之间的规律，最高岗位是数据科学家。

大数据工程是对数据进行采集，存储，加工，产品化的过程。

 

某学校本科数据挖掘方向和大数据工程方向