06 2017 档案

Hadoop 学习笔记 (2) -- 关于MapReduce
摘要:1. MapReduce 定义: 是一种可用于数据处理的编程的模型 优势: MapReduce 本质上是并行运行的,因此可以将大规模的数据分析任务,分发给任何一个拥有足够多机器的 的数据中心。 MapReduce 的优势在于处理大规模数据集。 过程: (map 和 reduce) 每个阶段都已 键值 阅读全文

posted @ 2017-06-02 10:15 零零多 阅读(130) 评论(0) 推荐(0)

Hadoop 学习笔记 (1) -- 初识Hadoop
摘要:1. 数据存储与分析 问题: 在硬盘存储容量不断上升的今天,传输速率并没有提升(TB 级的硬盘已经成为了存储的主流,但是传输速度还停留在 100M/s , 读完整个硬盘的数据需要 2.5 个小时),这个就产生了效率的问题。 解决: 如果我们有100个硬盘,每个硬盘存储 1% 的数据,并行读取,那么不 阅读全文

posted @ 2017-06-01 17:36 零零多 阅读(169) 评论(0) 推荐(0)

导航