随笔分类 -  Hadoop

摘要:Spark是一个计算框架 Hadoop是包含计算框架MapReducehe分布式文件系统HDFS。 Spark是MapReduce的替代方案,而且兼容HDFS、Hive等分布式存储系统,可融入Hadoop生态。 Spark与Hadoop MapReduce优势如下 1 中间结果输出 MapReduc 阅读全文
posted @ 2017-02-14 10:12 Jupiter077 阅读(13300) 评论(0) 推荐(2)
摘要:Hadoop 新 MapReduce 框架 Yarn 详解 http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/ Hadoop 新 MapReduce 框架 Yarn 详解 http://www.ibm.com/deve 阅读全文
posted @ 2017-02-04 14:19 Jupiter077 阅读(175) 评论(0) 推荐(0)
摘要:MapReduce\Tez\Storm\Spark四个框架的异同 1) MapReduce:是一种离线计算框架,将一个算法抽象成Map和 Reduce两个阶段进行处理,非常适合数据密集型计算。 2) Spark:MapReduce计算框架不适合迭代计算和交互式计算 ,MapReduce是一种磁盘计算 阅读全文
posted @ 2017-02-04 14:17 Jupiter077 阅读(1876) 评论(0) 推荐(0)
摘要:先了解hadoop是否做什么、它能做什么、能带来什么 hadoop使用场景、Hadoop到底能做什么?怎么用hadoop? hadoop的衍生品 http://blog.cloudera.com/blog/2013/01/apache-hadoop-in-2013-the-state-of-the- 阅读全文
posted @ 2017-01-21 20:08 Jupiter077 阅读(147) 评论(0) 推荐(0)