大数据系统 - 随笔分类 - ElvisHUSTer

摘要：这段时间用Latex很多，常常需要查阅相关特殊的符号，这里做一个整理，也方便大家查阅。阅读全文

posted @ 2020-09-27 11:40 ElvisHUSTer 阅读(865) 评论(0) 推荐(0)

摘要：latex图片并排1.并排摆放，共享标题\begin{figure}[htbp]\centering\includegraphics{left}\includegraphics{right}\caption{abcd} \end{figure} 2.并排摆放，各有标题\begin{figure}[h 阅读全文

posted @ 2020-09-27 10:49 ElvisHUSTer 阅读(17209) 评论(0) 推荐(0)

Kafka的HW和Leader Epoch

摘要：本文主要讨论0.11版本之前Kafka的副本备份机制的设计问题以及0.11是如何解决的。简单来说，0.11之前副本备份机制主要依赖水位(或水印)的概念，而0.11采用了leader epoch来标识备份进度。后面我们会详细讨论两种机制的差异。不过首先先做一些基本的名词含义解析。水位或水印（wate 阅读全文

posted @ 2020-03-05 17:15 ElvisHUSTer 阅读(1129) 评论(0) 推荐(0)

Apache Flink的容错机制

摘要：简介 Apache Flink 提供了容错机制来恢复数据流应用的状态。这种机制保证即使在错误出现时，应用的状态会最终反应数据流中的每条记录恰好一次(exactly once)。注意，可以选择降级到至少一次的保证（at least once）这种容错机制不断的为分布式数据流建立快照。对于拥有小状态（阅读全文

posted @ 2020-03-05 10:57 ElvisHUSTer 阅读(277) 评论(0) 推荐(0)

Storm容错机制：ACK机制

摘要：Storm容错机制：ACK机制本文转自：https://www.jianshu.com/p/9679418250fa ACK机制有什么用？我们知道 Storm 是一个常驻服务，消息源源不断的来，他源源不断的处理，那肯定在有些情况下会导致消息的不正确处理，比如worker进程挂掉了，那么正在被处理阅读全文

posted @ 2020-03-05 10:31 ElvisHUSTer 阅读(317) 评论(0) 推荐(0)

分布式快照算法—— Chandy-Lamport 算法的证明

摘要：状态和事件的定义：对于分布式流处理系统，我们可以将数据处理流程抽象化为DAG（V,E），其中V表示逻辑的处理进程p，E表示进程之间通信的c。 C的状态是沿C发送的消息序列，不包括沿C接收的消息。P的状态是各种参数的值。流程由一组状态，一个初始状态（来自此组）和一组事件定义（全局状态转换图）。进程阅读全文

posted @ 2020-03-03 17:35 ElvisHUSTer 阅读(851) 评论(0) 推荐(0)

Storm与Heron

摘要：Storm的架构： Nimbus：风暴Nimbus执行一些功能，包括调度、监视和分发jar。它还提供系统的运行监控组件，并管理多个拓扑的计数器。因此，Nimbus组件在功能上过载，并且由于各种原因常常成为操作瓶颈。首先，Nimbus调度程序在粒度级别上不支持Storm Worker的资源预留和隔阅读全文

posted @ 2020-03-02 12:43 ElvisHUSTer 阅读(284) 评论(0) 推荐(0)

YARN

摘要：YARN是Hadoop的资源管理器 YARN中有四个基本组件：ResourceManager、NodeManager、ApplicationMaster、Container。ResourceManager每个集群仅有一个，负责集群资源的统一管理和调度，NodeManager每个节点都有一个，负责单节阅读全文

posted @ 2020-03-01 20:02 ElvisHUSTer 阅读(214) 评论(0) 推荐(0)

随笔分类 - 大数据系统

公告