logstash多配置文件遇到的坑

logstash下存在多个配置文件,启动后,写入 elasticsearch 时,会出现数据重复写入情况,logstash启动后会把多个配置文件自动合并成一个,比如有两个conf文件,每个都有 filter、ouput,写入一条数据,会执行两次filter和output,重复写入,官方提供有 type 和tags 配置项进行区分,如下所示:

 

 以上是用type进行区分

 

 以上用tags进行区分,因为传入的数据中带有type字段会覆盖logstash配置文件设置的type属性值,这是个大坑,注意

posted @ 2021-02-07 15:04  gaojiandong  阅读(427)  评论(0)    收藏  举报