学习大数据方向

大数据指无法用传统数据库软件工具对其内容进行抓取、管理和处理的大体量数据集合。

海量数据处理指判断数据的价值。

 

一、海量数据分成两块,一是系统建设技术,二,海量数据应用。

目前我了解大数据的职位:

大数据架构工程师

大数据算法工程师(数据分析工程师,数据挖掘工程师)

大数据运维工程师

 

二、系统建设技术

目前常用的hadoop生态圈技术,结构如图:

学习大数据方向
涉及到应用类型,数据类型,安全性,机架服务器数量,性能,运维,这个实验性特别高。

一些应用上的算法具体问题再详细学习,项目驱动方式学习技术。

 

三、海量数据应用

算法是数据的表现形式,必须兼具计算机科学基础和统计基础。

现在有一个高大上的职业叫数据科学家,有人说数据科学家就是一个比程序员更懂统计的统计学家,一个比统计学家更会编程的程序员。觉得说得很形象。

å­¦ä¹ å¤§æ°æ®æ¹å

基础中的基础:

线性代数,概率论

核心知识:

数理统计

预测模型

机器学习

 

数据挖掘方法,例如:线性回归,逻辑回归,决策树分群,聚类、关联分析、SVM,贝叶斯,神经网络等;

 

 

posted @ 2017-09-28 17:18  Dlimeng  阅读(6)  评论(0)    收藏  举报  来源