摘要：
正文 回到顶部 一、下载 下载地址： http://kafka.apache.org/downloads.html http://mirrors.hust.edu.cn/apache/ 回到顶部 二、安装前提（zookeeper安装） 参考http://www.cnblogs.com/qingyun 阅读全文
posted @ 2020-01-13 14:49
大浪不惊涛
阅读(196)
评论(0)
推荐(0)
摘要：
正文 回到顶部 一、高可用的由来 1.1 为何需要Replication 在Kafka在0.8以前的版本中，是没有Replication的，一旦某一个Broker宕机，则其上所有的Partition数据都不可被消费，这与Kafka数据持久性及Delivery Guarantee的设计目标相悖。同时P 阅读全文
posted @ 2020-01-13 14:47
大浪不惊涛
阅读(282)
评论(0)
推荐(0)
摘要：
正文 回到顶部 一、Kafka的架构 如上图所示，一个典型的Kafka集群中包含若干Producer（可以是web前端产生的Page View，或者是服务器日志，系统CPU、Memory等），若干broker（Kafka支持水平扩展，一般broker数量越多，集群吞吐率越高），若干Consumer 阅读全文
posted @ 2020-01-13 14:46
大浪不惊涛
阅读(179)
评论(0)
推荐(0)
摘要：
正文 回到顶部 一、简介 1.1 概述 Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了Apache 阅读全文
posted @ 2020-01-13 14:42
大浪不惊涛
阅读(168)
评论(0)
推荐(0)
摘要：
1. 前言 流式计算分为有状态和无状态两种情况，所谓状态就是计算过程中的中间值。对于无状态计算，会独立观察每个独立事件，并根据最后一个事件输出结果。什么意思？大白话举例：对于一个流式系统，接受到一系列的数字，当数字大于N则输出，这时候在此之前的数字的值、和等情况，压根不关心，只和最后这个大于N的数字 阅读全文
posted @ 2020-01-13 14:33
大浪不惊涛
阅读(260)
评论(0)
推荐(0)
摘要：
一、任务调度 Flink是通过task slot的来定义执行资源的，为优化资源的利用率，Flink通过slot共享，可以将多个连续的task任务组成的一个pipeline放在一个slot中运行。当任务并行度>1时，并行任务中的每个pipeline就会分配到一个slot去执行，这样就会有一个问题，若是 阅读全文
posted @ 2020-01-13 14:32
大浪不惊涛
阅读(734)
评论(0)
推荐(0)
摘要：
一、Task和Operator Chains Flink会在生成JobGraph阶段，将代码中可以优化的算子优化成一个算子链（Operator Chains）以放到一个task（一个线程）中执行，以减少线程之间的切换和缓冲的开销，提高整体的吞吐量和延迟。下面以官网中的例子进行说明，如下图1所示： 图 阅读全文
posted @ 2020-01-13 14:30
大浪不惊涛
阅读(1538)
评论(0)
推荐(0)
摘要：
一、集群部署阶段 集群部署这里指的是Flink standalone模式，因为在Yarn模式（包括session、single job模式也成Per-job模式）是可以仅通过Flink client提交任务到Yarn上，所以是否手动部署Flink集群对任务的执行是没有影响的。下图[1]是简单的Fli 阅读全文
posted @ 2020-01-13 14:28
大浪不惊涛
阅读(502)
评论(0)
推荐(0)
摘要：
1、前言 在讲Flink基本结构之前，我们的先知道Flink是什么？中文官网上的解释是：Apache Flink 是一个框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算[1]。关于无边界和有边界数据流的定义可以参考官网上的解释，从其解释上可以了解到Flink是一个框架和计算引擎，是 阅读全文
posted @ 2020-01-13 14:27
大浪不惊涛
阅读(506)
评论(0)
推荐(0)
摘要：
一.IDEA开发环境 1.pom文件设置 <properties> <maven.compiler.source>1.8</maven.compiler.source> <maven.compiler.target>1.8</maven.compiler.target> <encoding>UTF- 阅读全文
posted @ 2020-01-13 14:22
大浪不惊涛
阅读(346)
评论(0)
推荐(0)
浙公网安备 33010602011771号