流氓小伙子

摘要： 转自：http://blog.jobbole.com/110388/ ZooKeeper是一个高可用的分布式数据管理与协调框架。基于对ZAB算法的实现，该框架能够很好地保证分布式环境中数据的一致性。也是基于这样的特性，使得ZooKeeper成为了解决分布式一致性问题的利器。 数据发布与订阅（配置中心 阅读全文

摘要： 转自：http://blog.jobbole.com/110388/ 介绍 ZooKeeper是一个开源的分布式协调服务，由雅虎创建，是Google Chubby的开源实现。分布式应用程序可以基于ZooKeeper实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master选 阅读全文

摘要： Zookeeper在Hadoop的HA中的应用 非HA的弊端： HDFS集群的分布式存储是靠namenode节点（namenode负责响应客户端请求）来实现。在非HA集群中一旦namenode宕机，虽然元数据不会丢失，但整个集群将无法对外提供服务，导致HDFS服务的可靠性不高，这在实际应用场景中显然 阅读全文

摘要： 一、背景 MapReduce提供了表连接操作其中包括Map端join、Reduce端join还有半连接，现在我们要讨论的是Map端join，Map端join是指数据到达map处理函数之前进行合并的，效率要远远高于Reduce端join，因为Reduce端join是把所有的数据都经过Shuffle，非 阅读全文

摘要： 二次排序的需求说明 在mapreduce操作时，shuffle阶段会多次根据key值排序。但是在shuffle分组后，相同key值的values序列的顺序是不确定的(如下图)。如果想要此时value值也是排序好的，这种需求就是二次排序。 1.png 测试的文件数据 第一种实现思路 直接在reduce 阅读全文

摘要： MapReduce的类型 默认的MR作业 默认的MR作业 默认的streaming作业 默认的streaming作业 输入格式 输入分片与记录 以字节为单位的长度，表示分片的大小，用以排序分片，以便优先处理最大的分片，从而最小化作业运行时间 一组存储位置，供MR系统使用一边将map任务尽可能放在分片 阅读全文

摘要： 如果作业很小，就选择和自己在同一个JVM上运行任务，与在一个节点上顺序运行这些任务相比，当application master 判断在新的容器中的分配和运行任务的开销大于并行运行它们的开销时，就会发生这个情况。 哪些是小作业呢？ 小作业就是 小于 10个 mapper 而且只有 1 个 reduce 阅读全文

摘要： 转载http://my.oschina.net/Chanthon/blog/150500 map和reduce是hadoop的核心功能，hadoop正是通过多个map和reduce的并行运行来实现任务的分布式并行计算，从这个观点来看，如果将map和reduce的数量设置为1，那么用户的任务就没有并行 阅读全文

摘要： 一、抽象层次 Flink提供不同级别的抽象来开发流/批处理应用程序。 最低级抽象只提供有状态流。它 通过Process Function嵌入到DataStream API中。它允许用户自由处理来自一个或多个流的事件，并使用一致的容错状态。此外，用户可以注册事件时间和处理时间回调，允许程序实现复 杂的 阅读全文

摘要： 175. Combine Two Tableshttps://leetcode.com/problems/combine-two-tables/description/DescriptionPerson 表：Column NameTypePersonIdin... 阅读全文