欢迎来到我的博客

logstash抽取clickhouse数据库偶现网络错误异常并提示FORMAT TabSeparatedWithNamesAndTypes格式问题

 如上图错误信息所示,可以看到第一次sql查询是正常的,在第二次offset偏移的时候报了网络错误。

起初的想法就是clickhouse的问题,把sql粘贴出来放入clickHouse中单独执行发现sql并无问题。然后又认为是logstash的问题并分别下载了logstash-7.3.1、logstash-7.17.15、logstash-8.11.1不同版本的logstash测试,网络问题还是依然存在,再次排查思路放在了logstash使用的clickHouse驱动上并更换了不同的驱动问题还是并未解决。检查服务器网络磁盘内存cpu使用率都没问题,并且防火墙也在关闭状态。

最后把问题重新指向了clickHouse数据库仔细观察clickhouse-server服务安装路径下的config.xml配置文件发现了<keep_alive_timeout>3</keep_alive_timeout>标签,发现http空闲等待时长默认是3秒,logstash底层处理的时候会超过3秒 clickHouse将会断开logstash的连接,logstash进行下次偏移时则报连接clickHouse的网络错误。

解决方案:

增加clickHouse config.xml配置文件的<keep_alive_timeout>30</keep_alive_timeout>参数

示例图:

 

posted @ 2023-12-26 15:52  八千轮回  阅读(187)  评论(0编辑  收藏  举报
人生三从境界:昨夜西风凋碧树,独上高楼,望尽天涯路。 衣带渐宽终不悔,为伊消得人憔悴。 众里寻他千百度,蓦然回首,那人却在灯火阑珊处。