随笔分类 - Hadoop
摘要:Spark是一个计算框架 Hadoop是包含计算框架MapReducehe分布式文件系统HDFS。 Spark是MapReduce的替代方案,而且兼容HDFS、Hive等分布式存储系统,可融入Hadoop生态。 Spark与Hadoop MapReduce优势如下 1 中间结果输出 MapReduc
阅读全文
摘要:Hadoop 新 MapReduce 框架 Yarn 详解 http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/ Hadoop 新 MapReduce 框架 Yarn 详解 http://www.ibm.com/deve
阅读全文
摘要:MapReduce\Tez\Storm\Spark四个框架的异同 1) MapReduce:是一种离线计算框架,将一个算法抽象成Map和 Reduce两个阶段进行处理,非常适合数据密集型计算。 2) Spark:MapReduce计算框架不适合迭代计算和交互式计算 ,MapReduce是一种磁盘计算
阅读全文
摘要:先了解hadoop是否做什么、它能做什么、能带来什么 hadoop使用场景、Hadoop到底能做什么?怎么用hadoop? hadoop的衍生品 http://blog.cloudera.com/blog/2013/01/apache-hadoop-in-2013-the-state-of-the-
阅读全文

浙公网安备 33010602011771号