大数据一些知识笔记(未完）

现有大数据平台项目知识要点

 

大数据平台 不一定是数据多 而是数据杂

 

 

目前可以划分为4个阶段：

1数据采集阶段 入库

数据来源 各个方面  如：excel  各个数据库  数据获取 

各个单位  存放于mysql对应的库 对应表中

 

2数据治理

etl过程   其实在 1 和2没有实际的区分 

对非标准数据 进行标准化  既是数据清洗  存放在统一的平台  haddoop

 

3数据挖掘 分析阶段

这个阶段就是  算法  机器学习等对数据进行分析

 

4展示应用