Spark大数据处理 - 随笔分类 - 一码

摘要：RDD的粗粒度的转换是否有足够的表达能力，来支持多种多样的应用需求呢？一起来看看如何模拟Google经典的MapReduce和图数据处理框架Pregel。阅读全文

posted @ 2015-06-11 07:48 一码阅读(3465) 评论(1) 推荐(2)

摘要：Spark究竟适用于哪些场景？RDD为何要设计成只读的？RDD为啥只支持粗粒度转换？RDD都放内存中了咋个容错？进来看看吧。阅读全文

posted @ 2015-06-05 08:43 一码阅读(2429) 评论(0) 推荐(1)

摘要：大数据处理肯定是分布式的了，那就面临着几个核心问题：可扩展性，负载均衡，容错处理。Spark是如何处理这些问题的呢？阅读全文

posted @ 2015-05-29 23:06 一码阅读(6300) 评论(4) 推荐(3)

摘要：寥寥10多行代码，就已经完成了，比大家想象的要简单，完全看不出大数据背后的存储，分布式，容错处理，这就是Spark给我们带来的福利。阅读全文

posted @ 2015-05-23 09:07 一码阅读(8427) 评论(8) 推荐(4)

优雅程序员