摘要：
Storm on YARN： Storm on YARN被视为大规模Web应用与传统企业应用之间的桥梁。它将Storm事件处理平台与YARN（Yet Another Resource Negotiator）应用管理框架进行了组合，为此前进行批处理的Hadoop应用提供了低延迟的处理能力。诞生背景（... 阅读全文
posted @ 2015-03-31 18:56 xymaqingxiang 阅读(1031) 评论(0) 推荐(0)
摘要：
董的博客：数据机构与算法合集背包问题应用(2011-08-26)数据结构之红黑树(2011-08-20)素数判定算法(2011-06-26)算法之图搜索算法(一)(2011-06-22)算法之排列与组合算法(2011-06-21)数据结构之位图(2011-05-22)数据结构之AVL树(2011-0... 阅读全文
posted @ 2015-03-31 18:14 xymaqingxiang 阅读(192) 评论(0) 推荐(0)
摘要：
Storm与Spark：谁才是我们的实时处理利器 ——实时商务智能目前已经逐步迈入主流，而Storm与Spark开源项目的支持无疑在其中起到了显著的推动作用。那么问题来了：实时处理到底哪家强？ 实时商务智能这一构想早已算不得什么新生事物（早在2006年维基百科中就出现了关于这一概念的页面）。然而... 阅读全文
posted @ 2015-03-31 16:45 xymaqingxiang 阅读(429) 评论(0) 推荐(0)
摘要：
Hadoop 2.0 NameNode HA和Federation实践Posted on2012/12/10一、背景 天云趋势在2012年下半年开始为某大型国有银行的历史交易数据备份及查询提供基于Hadoop的技术解决方案，由于行业的特殊性，客户对服务的可用性有着非常高的要求，而HDFS长久以来都... 阅读全文
posted @ 2015-03-30 22:33 xymaqingxiang 阅读(320) 评论(0) 推荐(0)
摘要：
Hadoop 1.0内核主要由两个分支组成：MapReduce和HDFS，众所周知，这两个系统的设计缺陷是单点故障，即MR的JobTracker和HDFS的NameNode两个核心服务均存在单点问题，该问题在很长时间内没有解决，这使得Hadoop在相当长时间内仅适合离线存储和离线计算。 令人欣... 阅读全文
posted @ 2015-03-30 17:18 xymaqingxiang 阅读(615) 评论(0) 推荐(1)
摘要：
——本文讲解了Storm故障容忍性(Fault-Tolerance)的设计细节：当Worker、节点、Nimbus或者Supervisor出现故障时是如何实现故障容忍性，以及Nimbus是否存在单点故障问题。当一个Worker挂了会怎样？When a worker dies, the supervi... 阅读全文
posted @ 2015-03-30 10:44 xymaqingxiang 阅读(845) 评论(0) 推荐(0)
摘要：
【原】storm源码之storm代码结构【译】说明：本文翻译自Storm在GitHub上的官方Wiki中提供的Storm代码结构描述一节Structure of the codebase，希望对正在基于Storm进行源码级学习和研究的朋友有所帮助。Storm的源码共分为三个不同的层次。首先，Stor... 阅读全文
posted @ 2015-03-28 22:03 xymaqingxiang 阅读(296) 评论(0) 推荐(0)
摘要：
本文导读：1 Worker、Executor、task详解2 配置拓扑的并发度3 拓扑示例4 动态配置拓扑并发度Worker、Executor、Task详解：Storm在集群上运行一个Topology时，主要通过以下3个实体来完成Topology的执行工作：1. Worker Process（工作进... 阅读全文
posted @ 2015-03-28 21:54 xymaqingxiang 阅读(4377) 评论(0) 推荐(1)
摘要：
本文导读：1 storm nimbus 单节点问题概述2 storm与解决nimbus单点相关的概念3 nimbus目前无法做到多节点的原因4 解决nimbus单点问题的关键5 业界对nimbus单点问题的努力6 nimbus单点问题的解决思路7 NimbusCloudStorage的实现8 总结：... 阅读全文
posted @ 2015-03-28 21:48 xymaqingxiang 阅读(901) 评论(0) 推荐(0)
摘要：
对互联网海量数据实时计算的理解1. 实时计算的概念 互联网领域的实时计算一般都是针对海量数据进行的，除了像非实时计算的需求（如计算结果准确）以外，实时计算最重要的一个需求是能够实时响应计算结果，一般要求为秒级。个人理解，互联网行业的实时计算可以分为以下两种应用场景：1）数据源是实时的不间断的，要求... 阅读全文
posted @ 2015-03-27 22:25 xymaqingxiang 阅读(1585) 评论(0) 推荐(0)
浙公网安备 33010602011771号