大数据的特征

一、大数据特征

1. 数据体量巨大

2. 数据类型多样（文本，图像，视频，音频）

3. 价值密度低，商业价值高

4.速度要求快，数据输出输入的速度

二、大数据之核心

1.数据的存储

2. 数据的计算（处理）

三、Hadoop

1. Apache开源软件基金会开发的

2. 运行于大规模普通服务器上的

3. 大数据存储、计算、分析

4. 分布式存储系统和分布式运算框架

Hadoop2.0由三部分组成

1. 分布式文件系统HDFS

2. 资源分配系统yarn

3. 分布式运算框架MapReduce

四、Hadoop分布式架构

1. Master/Slave

2.Mater节点

　　NameNode NN

　　SecondaryNameNode SNN

　　ResourceManager rm

3. Slave节点

　　DodeManager NM

　　DataNode DN

五、MapReduce 计算框架

1. 将计算移动到数据

　　硬盘存储成本不断降低

　　传输速率提升不大

　　磁头定位时间无提升

2. MapReduce的特性

　　自动实现分布式并行计算

　　容错

　　提供状态监控工具

　　模型抽象简洁，程序员易用

六、MapReduce函数式编程

Map

　　映射和分发

Reduce

　　汇聚和聚合