还好，没肉馅

2019年12月7日

摘要：下载：wget http://central.maven.org/maven2/org/jmxtrans/jmxtrans/266/jmxtrans-266.rpm 安装：rpm -ivh jmxtrans-266.rpm 如果安装报错，执行该命令安装：rpm -i jmxtrans-266.rpm 阅读全文

posted @ 2019-12-07 14:13 还好，没肉馅阅读(284) 评论(0) 推荐(0)

配置Kafka的Systemctl启动

摘要：查看system ctl 方式配置 https://www.jianshu.com/p/7fd8b6ea336e systemctl list-unit-files --type=service|grep kafka kafka systemctl 启动方式命令 systemctl start ka 阅读全文

posted @ 2019-12-07 13:55 还好，没肉馅阅读(2457) 评论(0) 推荐(1)

Kafka各版本对比分析

摘要： 1 概述目前我们部分系统还在使用Kafka0.8.2.2 的版本。 0.8.2.2版本发行于2014年10月28号，距今已经过去4年多的时间。三年的时间，Kafka截至到（2018-02-28），已经累计发布了14个版本，最新版本为1.0.0，由此，0.8.2已经远远落后于Kafka的最新版本1 阅读全文

posted @ 2019-12-07 13:44 还好，没肉馅阅读(8143) 评论(0) 推荐(0)

2019年10月16日

Kafka-Consumer高CPU问题分析

摘要：一、当前配置 Flink：版本1.4 Flink-Kafka-Connector：0.10.x Kafka-Brokers:3个 Topic-Partitoins:3个 Topic-Replication:2个二、现象描述 Flink通过Kafka-Connector连接Kafka消费数据，当Ka 阅读全文

posted @ 2019-10-16 19:08 还好，没肉馅阅读(5294) 评论(0) 推荐(0)

修改Zookeeper的运行日志

摘要：前端时间配置zookeeper日志时出现问题，尽管修改了conf目录下的log4j.properties, 重启zookeeper后仍不起作用。查了下资料，才知道要修改bin目录下的zkEnv.sh。zookeper版本是3.4.5。总结步骤如下：1> 修改conf/log4j.propertie 阅读全文

posted @ 2019-10-16 14:09 还好，没肉馅阅读(1223) 评论(0) 推荐(0)

Kafka常用运维操作

摘要：创建主题kafka-topics.sh --zookeeper localhost:2181 --create --topic my-topic --replication-factor 3 --partitions 3查看主题列表kafka-topics.sh --zookeeper localh 阅读全文

posted @ 2019-10-16 14:07 还好，没肉馅阅读(1322) 评论(0) 推荐(0)

2018年12月13日

KafkaStream-高级别API

摘要：使用Streams DSL构建一个处理器拓扑，开发者可以使用KStreamBuilder类，它是TopologyBuilder的扩展。在Kafka源码的streams/examples包中有一个简单的例子。另外本节剩余的部分将通过一些代码来展示使用Streams DSL创建拓扑的关键的步骤。但是我们阅读全文

posted @ 2018-12-13 11:01 还好，没肉馅阅读(1168) 评论(0) 推荐(0)

2018年11月20日

KafkaStream低级别API

摘要：开发者可以通过Processor接口来实现自己的自定义处理逻辑。接口提供了Process和Punctuate方法。其中：Process方法用于处理接受到的消息 Punctuate方法指定时间间隔周期性的执行，用于处理周期数据：例如某些状态值计算生成新的流。 Processor接口还提供了init 阅读全文

posted @ 2018-11-20 14:48 还好，没肉馅阅读(1598) 评论(0) 推荐(0)

KafkStream架构

摘要： Kafka Stream 的整体架构图如下。目前KafkaStream的数据源智能是如上图所示的Kafka，但是处理结果并不一定是如上图所示的输出到Kafka，实际上KStream和Ktable的实例化都需要输入源节点，也就是源Topic。 KStream<String, String> stre 阅读全文

posted @ 2018-11-20 14:40 还好，没肉馅阅读(922) 评论(0) 推荐(0)

kafka-0.10.2.1：Producer生产时无法自动创建Topic

摘要：集群环境： CenterOS 1台 Kafka：0.10.2.1版本。今天在测试环境下,我们的Kafka集群工作不正常，具体现象为，使用confulentkafka向kafka集群生产消息失败，且并没有任何异常。检查server配置、broker日志、程序异常日志等等都没有发现，网上搜索资料，并阅读全文

posted @ 2018-11-20 14:21 还好，没肉馅阅读(6338) 评论(0) 推荐(0)

还好，没肉馅

公告