摘要：下面给出yaml配置，只有input和output，中间可以自定义数据转换pipeline 当前的数据从kafka中取出来就是json格式，所以不需要进行处理转换，输出段使用http_client组件，配置批处理提高吞吐量 遇到的问题： 1.后台出现publish timeout，提交的频率太高，b 阅读全文

摘要：output组件的使用记录 file output: file: codec: all-bytes delimiter: "" path: '/home/data/aaa.resource' processors: - archive: format: json_array - type: json 阅读全文

摘要：input常用组件的记录： generate benthos的任务运行必须要有一个输入作为触发条件，比如当处理文件时，配置的目录下有相应的文件触发任务的运行。 但是有的需求肯能没有输入，此时可以用input中的generate，generate可以定时的触发一次推动任务向下流转。 举例： 定时查数据 阅读全文

摘要：项目内的大佬推荐了一种流式处理框架benthos，该工具使用go语言编写，使用起来比较方便，只需要编写yaml配置文件即可完成对数据的处理； 启动就不说了，推荐大家看下官网，讲的比较详细。 该框架有三大组件： input 输入 pipeline 流水线处理 output 输出 该框架包含多种输入源， 阅读全文