排错:Windows系统异常导致Filebeat无法正常运行

Windows 下Filebeat排错Case实例一份,请查收。

问题描述:

Windows Server下Filebeat Agent服务无法正常启动,导致网络数据打点无法正常进行,影响大范围用户网络使用等;

报错信息如下:

image

查看对应log文件,日志信息如下:

2019-03-04T11:38:14+08:00 INFO Home path: [C:\Program Files\Filebeat] Config path: [C:\Program Files\Filebeat] Data path: [C:\\ProgramData\\filebeat] Logs path: [C:\Program Files\Filebeat\logs]
2019-03-04T11:38:14+08:00 INFO Setup Beat: filebeat; Version: 5.1.2
2019-03-04T11:38:14+08:00 INFO Max Retries set to: 3
2019-03-04T11:38:14+08:00 INFO Activated logstash as output plugin.
2019-03-04T11:38:14+08:00 INFO Publisher name: "server name"
2019-03-04T11:38:14+08:00 INFO Flush Interval set to: 1s
2019-03-04T11:38:14+08:00 INFO Max Bulk Size set to: 2048
2019-03-04T11:38:14+08:00 INFO filebeat start running.
2019-03-04T11:38:14+08:00 INFO Registry file set to: C:\ProgramData\filebeat\registry
2019-03-04T11:38:14+08:00 INFO Loading registrar data from C:\ProgramData\filebeat\registry
2019-03-04T11:38:14+08:00 ERR Error decoding old state: invalid character '\x00' looking for beginning of value
2019-03-04T11:38:14+08:00 INFO Total non-zero values: 
2019-03-04T11:38:14+08:00 INFO Uptime: 42.0006ms
2019-03-04T11:38:14+08:00 INFO filebeat stopped.
2019-03-04T11:38:14+08:00 CRIT Exiting: Could not start registrar: Error loading state: Error decoding states: invalid character '\x00' looking for beginning of value

环境(软件/硬件):

Windows Server 2016 、Filebeat 5.1.2


原因分析:

因补丁更新、系统异常重启、服务进程异常中断、用户权限、服务目录权限调整等等原因导致Filebeat Agent注册服务信息无法正常加载。

1.查看当前服务器系统日志,发现有大量filebeat服务意外停止报错,事件ID 7000、7034:

image

image

此时我们按照该内容指引排查系统是否有异常日志信息,发现某时间段有意外关闭操作,如下:

image

2.查看filebeat对应logs日志信息,目录位置:C:\ProgramData\filebeat\Logs:

image

默认日志文件中会记录整个filebeat安装配置等信息,发现有如下错误信息:

INFO Loading registrar data from C:\ProgramData\filebeat\registry
ERR Error decoding old state: invalid character '\x00' looking for beginning of value
INFO Total non-zero values:

image

这期间尝试卸载并重新安装filebeat agent,发现依旧无法重新启动该服务。


解决步骤:

1.我们按照报错提示内容查看filebeat配置路径文件变化,发现默认通过powershell卸载filebeat并不会删除C:\ProgramData\filebeat\registry注册信息;这里我们尝试直接删除C:\ProgramData\下filebeat目录信息;

image

2.重新安装filebeat Agent并重启对应filebeat服务,发现无异常,后台恢复正常。(PS.因第一时间恢复业务,部分内容无备档,只能用恢复服务后截图补充,请知悉。)

注:生产环境建议对核心业务、核心服务等进行进行监控,同时要定时关注对应日志文件存放目录、Logs文件大小设置等等,提前预判并规避不必要的业务宕机时间等。

 

文章最后,给大家分享几个有关微软全家桶学习参考链接,希望可以帮忙有需要的朋友。

  1. 中国区Azure文档库 
  2. Azure文档库及场景 
  3. 国际版Azure文档库 
  4. 国际版Azure解决方案 
  5. Microsoft 365文档库 
  6. Office 365文档库 
  7. Microsoft 文档库
  8. 自动化部署学习链接
  9. Cloud Perspectives 
  10. Microsoft 文档和学习主页 
  11. 微软MSDN网站 
  12. 微软TechNet 
  13. Microsoft Developer博客 
  14. Microsoft开发人员网站 
  15. Channel 9 
  16. TechNet库 
  17. 微软学习中心
  18. Handsonlabs
  19. Techcommunity
  20. Archived MSDN and TechNet博客 

欢迎关注微信公众号:小温研习社

 

 

posted @ 2019-03-04 19:59  Wenzhongxiang  阅读(864)  评论(0编辑  收藏  举报