Logstash用WebHdfs插件发数据至HDFS问题记录

1.Failed to flush outgoing items {:outgoing_count=>1, :exception=>"WebHDFS::IOError" ...

解决方案：确认hdfs-site.xml对WebHdfs进行了配置，具体配置如下：

<property>
    <name>dfs.namenode.http-address</name>p
    <value>hadoop01:50070</value> //可以不用配置
</property>
<property>
    <name>dfs.webhdfs.enabled</name>
    <value>true</value>
</property>

2. Failed to APPEND_FILE XXX.log for DFSClient_NONMAPREDUCE...

解决方案：确认hdfs-site.xml对datanode和append进行了配置，具体配置如下：

<property>
<name> dfs.datanode.hostname</name>
<value>外网ip</value>
</property>

<!-- appendToFile追加 -->
<property>
        <name>dfs.support.append</name>
        <value>true</value>
</property>

<property>
        <name>dfs.client.block.write.replace-datanode-on-failure.policy</name>
        <value>NEVER</value>
</property>

3.WebHDFS::ClientError　　

解决方案：1）修改数据采集机器上的hosts文件如下：

 

 2）webhdfs output插件设置