摘要： Spark 宽依赖和窄依赖 窄依赖(Narrow Dependency)： 指父RDD的每个分区只被 子RDD的一个分区所使用， 例如map、 filter等 宽依赖(Shuffle Dependency)： 父RDD的每个分区都可能被 子RDD的多个分区使用， 例如groupByKey、 redu 阅读全文

摘要： Borg Large-scale cluster management at Google with Borg an opportunity cost approach for job assignment in scalable computing cluster Multi-agent Clus 阅读全文

摘要： Storm 的不足 Storm 利用异或操作实现了消息至少处理一次；kafka中利用存储在ZooKeeper的offset使得消息队列重放更加容易。Kafka和Storm组合实现了 At Least Once 消息处理机制。但只有实现“正好一次”（Exactly Once）才能得到正确的结果，为此“ 阅读全文

摘要： Kafka 大数据系统架构是什么样？为什么需要Kafka这样的桥梁作为连接？ Kafka的系统设计与传统MQ有什么不同？ 如何实现分布式？如何动态添加 Broker并通知上下游？ 有了 Kafka 和 Storm 后如何搭建流式处理系统？如何处理故障带来地数据不准确？ Realtime Data P 阅读全文

摘要： S4 流式计算的模型是什么样？要解决哪些问题？ S4是如何设计，如何进行分布式计算的？ S4有哪些缺陷？ 在分析海量用户搜索、广告点击行为时，这个处理数据的的需求和MapReduce生成报表类似，但是要求数据统计的反馈时间尽可能短。如果频繁使用MapReduce将不得不面对： 大量“额外开销”Map 阅读全文

摘要： Spanner Megastore 存在各种缺点：跨实体组事务需要昂贵的两阶段事务，所有跨数据中心的数据写入都通过Paxos算法，使得单个实体组只能支持每秒几次的事务。 Spanner 是一个全新设计的新系统，而不是Megastore或Bigtable上的修修补补。两个主题： 解决了Megastor 阅读全文

摘要： Metastore Megastore: Providing scalable, highly available storage for interactive services 在Bigtable上支持SQL，实现分布式数据库： 跨数据中心的多副本同步数据复制 支持为多数据表的字段建立Schem 阅读全文

摘要： Spark Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing 可看作一个支持多轮迭代的MapReduce模型，但是引入了 RDD 这样的函数式对象的数据集概念。Sp 阅读全文

摘要： Dremel 列式存储 Dremel: Interactive Analysis of Web-Scale Datasets Dremel: A Decade of Interactive SQL Analysis at Web Scale 开源项目：Parquet Hive通过分区分桶加快了扫描速 阅读全文

摘要： Hive 基于HDFS和MapReduce提供了一个基本的SQL的数据仓库方案。关键点：在数据库系统设计时，如何把查询语言和计算框架分离，做好对现有系统的复用 设计目标 写SQL执行MapReduce任务 数据模型 从MapReduce任务到SQL语言间存在很多鸿沟 序列化和类型信息，基于SQL的数 阅读全文