摘要：本文翻译自官方文档：http://storm.apache.org/documentation/Concepts.html。 Topology，拓扑；类似MapReduce的Job。一个重要区别是MR的任务通常有结束，然而拓扑是一直运行下去的。在后端，拓扑就是一个Thrift结构体（structu... 阅读全文

摘要：MR的shuffle阶段，用一张图就可以说明了： map阶段的输出结果会放在缓冲区中，另有一个较小的缓冲区维护了这个缓冲区中键值对+分区号的索引。当该缓冲区快满时，会对其索引进行排序，然后spill到磁盘上。当所有数据都spill到磁盘上后，会对这些碎片文件进行合并，这个过程中同样会发生排序和归并... 阅读全文

摘要：会话 3.2.0版本后支持一个“chroot”后缀，例如：“127.0.0.1:2181/app/a”，它的作用在于使之后的所有路径都变成基于此的相对路径。 zookeeper的会话使用64位的整数来标识。连接创建好时，这个会话ID会连同服务器创建的一个密码一同发给客户端。如果客户端断线，在重新连接... 阅读全文

摘要：之前有段时间公司的kerberos认证老是出问题，因而我便不经深入调查，便先入为主地认为这就是MIT用来发paper的东西，毫无实用性，是为技术而技术的典范。为什么一定要它呢？我们搭的小hadoop集群没有它也能够运行正常。直到昨天，我需要把一个java程序部署到yarn上，在运行第一个极简单的示... 阅读全文