随笔分类 -  Kafka

Kafka各版本对比分析
摘要：1 概述 目前我们部分系统还在使用Kafka0.8.2.2 的版本。 0.8.2.2版本发行于2014年10月28号，距今已经过去4年多的时间。 三年的时间，Kafka截至到（2018-02-28），已经累计发布了14个版本，最新版本为1.0.0，由此，0.8.2已经远远落后于Kafka的最新版本1 阅读全文
posted @ 2019-12-07 13:44 还好，没肉馅 阅读(8143) 评论(0) 推荐(0)
KafkaStream-高级别API
摘要：使用Streams DSL构建一个处理器拓扑，开发者可以使用KStreamBuilder类，它是TopologyBuilder的扩展。在Kafka源码的streams/examples包中有一个简单的例子。另外本节剩余的部分将通过一些代码来展示使用Streams DSL创建拓扑的关键的步骤。但是我们 阅读全文
posted @ 2018-12-13 11:01 还好，没肉馅 阅读(1168) 评论(0) 推荐(0)
KafkaStream低级别API
摘要：开发者可以通过Processor接口来实现自己的自定义处理逻辑。接口提供了Process和Punctuate方法。 其中：Process方法用于处理接受到的消息 Punctuate方法指定时间间隔周期性的执行，用于处理周期数据：例如某些状态值计算生成 新的流。 Processor接口还提供了init 阅读全文
posted @ 2018-11-20 14:48 还好，没肉馅 阅读(1600) 评论(0) 推荐(0)
KafkStream架构
摘要：Kafka Stream 的整体架构图如下。 目前KafkaStream的数据源智能是如上图所示的Kafka，但是处理结果并不一定是如上图所示的输出到Kafka，实际上KStream和Ktable的实例化都需要输入源节点，也就是源Topic。 KStream<String, String> stre 阅读全文
posted @ 2018-11-20 14:40 还好，没肉馅 阅读(922) 评论(0) 推荐(0)
kafka-0.10.2.1：Producer生产时无法自动创建Topic
摘要：集群环境： CenterOS 1台 Kafka：0.10.2.1版本。 今天在测试环境下,我们的Kafka集群工作不正常，具体现象为，使用confulentkafka向kafka集群生产消息失败，且并没有任何异常。 检查server配置、broker日志、程序异常日志等等都没有发现，网上搜索资料，并 阅读全文
posted @ 2018-11-20 14:21 还好，没肉馅 阅读(6338) 评论(0) 推荐(0)
KafkaStream简介
摘要：Kafka Streams 1 概述 Kafka Streams是一个客户端程序库，用于处理和分析存储在Kafka中的数据，并将得到的数据写回Kafka或发送到外部系统。Kafka Stream基于一个重要的流处理概念。如正确的区分事件时间和处理时间，窗口支持，以及简单而有效的应用程序状态管理。Ka 阅读全文
posted @ 2018-08-31 17:52 还好，没肉馅 阅读(844) 评论(0) 推荐(0)
Kafka技术原理知识点总结
摘要：1、Kafka是由Linkedin公司开发的，使用Scala语言编写的，分布式，多副本，多分区的，发布订阅模式的消息系统，他通常用于日志系统的搭建，2、Kafka和Zookeeper：Kafka通过Zookeeper管理集群配置，选举Controller，同时在老版本的Consumer-API中，当 阅读全文
posted @ 2018-08-10 11:52 还好，没肉馅 阅读(587) 评论(0) 推荐(0)
Kafka安装-Linux版
摘要：1. 准备 1.1 Kafka Kafka版本采用0.10.2.1，下载0.10.2.1文件 http://kafka.apache.org/downloads 1.2 JDK JDK选用Java1.8，下载地址 http://www.oracle.com/technetwork/java/java 阅读全文
posted @ 2018-08-10 11:49 还好，没肉馅 阅读(1622) 评论(0) 推荐(0)