学习大数据方向

大数据指无法用传统数据库软件工具对其内容进行抓取、管理和处理的大体量数据集合。

海量数据处理指判断数据的价值。

 

一、海量数据分成两块，一是系统建设技术，二，海量数据应用。

目前我了解大数据的职位：

大数据架构工程师

大数据算法工程师（数据分析工程师，数据挖掘工程师）

大数据运维工程师

 

二、系统建设技术

目前常用的hadoop生态圈技术，结构如图：

涉及到应用类型，数据类型，安全性，机架服务器数量，性能，运维，这个实验性特别高。

一些应用上的算法具体问题再详细学习，项目驱动方式学习技术。

 

三、海量数据应用

算法是数据的表现形式，必须兼具计算机科学基础和统计基础。

现在有一个高大上的职业叫数据科学家，有人说数据科学家就是一个比程序员更懂统计的统计学家，一个比统计学家更会编程的程序员。觉得说得很形象。

基础中的基础：

线性代数，概率论

核心知识：

数理统计

预测模型

机器学习

 

数据挖掘方法，例如：线性回归，逻辑回归，决策树分群，聚类、关联分析、SVM，贝叶斯，神经网络等；