2019年12月7日
CenterOS安装JMXStrans
摘要： 下载：wget http://central.maven.org/maven2/org/jmxtrans/jmxtrans/266/jmxtrans-266.rpm 安装：rpm -ivh jmxtrans-266.rpm 如果安装报错，执行该命令安装：rpm -i jmxtrans-266.rpm 阅读全文
posted @ 2019-12-07 14:13 还好，没肉馅 阅读(276) 评论(0) 推荐(0) 编辑
配置Kafka的Systemctl启动
摘要： 查看system ctl 方式配置 https://www.jianshu.com/p/7fd8b6ea336e systemctl list-unit-files --type=service|grep kafka kafka systemctl 启动方式命令 systemctl start ka 阅读全文
posted @ 2019-12-07 13:55 还好，没肉馅 阅读(2248) 评论(0) 推荐(1) 编辑
Kafka各版本对比分析
摘要： 1 概述 目前我们部分系统还在使用Kafka0.8.2.2 的版本。 0.8.2.2版本发行于2014年10月28号，距今已经过去4年多的时间。 三年的时间，Kafka截至到（2018-02-28），已经累计发布了14个版本，最新版本为1.0.0，由此，0.8.2已经远远落后于Kafka的最新版本1 阅读全文
posted @ 2019-12-07 13:44 还好，没肉馅 阅读(7592) 评论(0) 推荐(0) 编辑
2019年10月16日
Kafka-Consumer高CPU问题分析
摘要： 一、当前配置 Flink：版本1.4 Flink-Kafka-Connector：0.10.x Kafka-Brokers:3个 Topic-Partitoins:3个 Topic-Replication:2个 二、现象描述 Flink通过Kafka-Connector连接Kafka消费数据，当Ka 阅读全文
posted @ 2019-10-16 19:08 还好，没肉馅 阅读(4716) 评论(0) 推荐(0) 编辑
修改Zookeeper的运行日志
摘要： 前端时间配置zookeeper日志时出现问题，尽管修改了conf目录下的log4j.properties, 重启zookeeper后仍不起作用。 查了下资料，才知道要修改bin目录下的zkEnv.sh。zookeper版本是3.4.5。总结步骤如下：1> 修改conf/log4j.propertie 阅读全文
posted @ 2019-10-16 14:09 还好，没肉馅 阅读(1168) 评论(0) 推荐(0) 编辑
Kafka常用运维操作
摘要： 创建主题kafka-topics.sh --zookeeper localhost:2181 --create --topic my-topic --replication-factor 3 --partitions 3查看主题列表kafka-topics.sh --zookeeper localh 阅读全文
posted @ 2019-10-16 14:07 还好，没肉馅 阅读(1239) 评论(0) 推荐(0) 编辑
2018年12月13日
KafkaStream-高级别API
摘要： 使用Streams DSL构建一个处理器拓扑，开发者可以使用KStreamBuilder类，它是TopologyBuilder的扩展。在Kafka源码的streams/examples包中有一个简单的例子。另外本节剩余的部分将通过一些代码来展示使用Streams DSL创建拓扑的关键的步骤。但是我们 阅读全文
posted @ 2018-12-13 11:01 还好，没肉馅 阅读(961) 评论(0) 推荐(0) 编辑
2018年11月20日
KafkaStream低级别API
摘要： 开发者可以通过Processor接口来实现自己的自定义处理逻辑。接口提供了Process和Punctuate方法。 其中：Process方法用于处理接受到的消息 Punctuate方法指定时间间隔周期性的执行，用于处理周期数据：例如某些状态值计算生成 新的流。 Processor接口还提供了init 阅读全文
posted @ 2018-11-20 14:48 还好，没肉馅 阅读(1560) 评论(0) 推荐(0) 编辑
KafkStream架构
摘要： Kafka Stream 的整体架构图如下。 目前KafkaStream的数据源智能是如上图所示的Kafka，但是处理结果并不一定是如上图所示的输出到Kafka，实际上KStream和Ktable的实例化都需要输入源节点，也就是源Topic。 KStream<String, String> stre 阅读全文
posted @ 2018-11-20 14:40 还好，没肉馅 阅读(875) 评论(0) 推荐(0) 编辑
kafka-0.10.2.1：Producer生产时无法自动创建Topic
摘要： 集群环境： CenterOS 1台 Kafka：0.10.2.1版本。 今天在测试环境下,我们的Kafka集群工作不正常，具体现象为，使用confulentkafka向kafka集群生产消息失败，且并没有任何异常。 检查server配置、broker日志、程序异常日志等等都没有发现，网上搜索资料，并 阅读全文
posted @ 2018-11-20 14:21 还好，没肉馅 阅读(6135) 评论(0) 推荐(0) 编辑
下一页