摘要：output组件的使用记录 file output: file: codec: all-bytes delimiter: "" path: '/home/data/aaa.resource' processors: - archive: format: json_array - type: json 阅读全文

摘要：input常用组件的记录： generate benthos的任务运行必须要有一个输入作为触发条件，比如当处理文件时，配置的目录下有相应的文件触发任务的运行。 但是有的需求肯能没有输入，此时可以用input中的generate，generate可以定时的触发一次推动任务向下流转。 举例： 定时查数据 阅读全文

摘要：一句话概述： kafka重平衡机制以为了保证一个消费者组中消费环境发生变化后仍能够负载均衡的一种机制。（消费策略的转移）。 重平衡发生的几种情况： 有新的消费者加入Consumer Group。 有消费者宕机下线。消费者并不一定需要真正下线，例如遇到长时间的GC、网络延迟导致消费者长时间未向Grou 阅读全文

摘要：本文讨论了五种实现方案： jmxtrans+influxdb +grafana jmx_exporter +ps + grafana kafka_exporter + ps + grafana cmak logi_kafkamanager JMXTrans + InfluxDB + Grafana 阅读全文

摘要：项目要求使用kafka的事务，遇到了一些问题，研究了下kafka的事务机制记录一下。 kafka事务是为了实现: Exactly Once即正好一次语义 操作的原子性 有状态操作的可恢复性 kafka的幂等性可以实现Exactly Once语义，幂等性提供了单会话单分区的Exactly-Once 语 阅读全文