随笔分类 - kafka
摘要：jmx端口主要用来监控kafka集群的。 在启动kafka的脚本kafka-server-start.sh中找到堆设置，添加export JMX_PORT="9999" 或者在启动脚本中添加如下： 这样在kafka-manager中就不会看到出错信息了。
阅读全文
摘要：java实时程序在运行过程中偶尔出现异常信息中断的情况，通过shell脚本即可完成自启动。 以下为监控一个实时的java程序的shell脚本。 通过每10秒检查一次java程序的进程，来判断程序是否处于运行中。如果未发现程序，则执行程序的启动脚本。 对于启动过程中的状态信息，会通过钉钉机器人实时发送
阅读全文
摘要：日志中出现以下异常信息，程序中断退出。 目前参考别人的修改下面的配置，原来使用的hostname，改成IP，再观察观察。 advertised.listeners=PLAINTEXT://192.168.1.101:9092 参考： https://www.cnblogs.com/cyfonly/p
阅读全文
摘要：出错在 KStreamFlatMapValues 方法执行时，由于json异常数据无法解析，结果生成的值为null,报错信息如下： 问题解决方案： 1. 对json解析的bean添加未知字段忽略 2. 由于报空指针错误，所以解决空指针问题，即判断为null时创建一个空对象. 3. 完整的示例代码如下
阅读全文
摘要：之前直接改了源码。后来从度娘中找到解决方法： 新增时间异常捕获类MyEventTimeExtractor.class, 直接返回0 然后在属性添加下面配置： 编译执行，ok
阅读全文
摘要：今天居然碰到这个错误，参考以下解决方案： 修改server.properties，然后将每个节点的kafka重启即可解决。 查看集群是否有broker没有运行
阅读全文
摘要：#!/bin/sh ## 参数定义 dt=`date +"%Y%m%d" -d "-1 days"` outpath=/xxxx_log_${dt}.txt brokerlist=192.168.1.100:9092,192.168.1.101:9092,192.168.1.102:9092 echo $dt $outpath $brokerlist ## 查询hive表，输出文件到...
阅读全文
摘要：在使用spark连接kafka消费topic时，发现无论怎么设置，也无法从头开始消费。 查看配置得出auto.offset.reset的以下3种设置及含义: 也就是说无论哪种设置，只要kafka中相同group、partition中已经有提交的offset，则都无法从开始消费。 kafka API：
阅读全文
摘要：1. 查看topic个数 ./kafka-topics.sh --list --zookeeper dwtest-data2:2181,dwtest-data3:2181,dwtest-data4:2181 2. 查看topic的生产者与消费者消息 ./kafka-topics.sh --descr
阅读全文
浙公网安备 33010602011771号