摘要： 1.Grok filter入门 有效分析和查询送入Elastic Stack的数据的能力取决于信息的可读性。 这意味着，当将非结构化数据摄取到系统中时，必须将其转换为结构化数据。 通常，这个至关重要的任务留给Logstash（尽管还有其他日志传送器可用，比如 Fluentd）。无论你定义什么数据源， 阅读全文

摘要： 目录第1章 Kibana1.1 配置安装1.2 功能说明1.3 数据探索1.4 Metricbeat仪表盘1.5 Nginx指标仪表盘1.6 Nginx日志仪表盘1.7 kibana自定义图表1.8 开发者工具1.9 kibana监控es集群第2章 Nginx日志分析系统2.1 项目需求2.2 业务 阅读全文

摘要： 最近遇到了一个问题，想登录测试环境的kibana查看一下近期的日志情况，但是发现近一周并没有日志显示，查看elasticsearch的日志时发现了以下报错： [node-1] flood stage disk watermark [95%] exceeded on [JI43BoeFR8G8Q5oU 阅读全文

摘要： 如题，es会在所在机器磁盘使用率超过95%时变成只读模式，所以我们需要定期对很久之前生成的索引进行清除，这个时间间隔具体为多久视具体的业务而定。 我们现在的需求是设置一个每月1号早上5点整执行的crontab定时任务，去清理掉2个月之前生成的es索引。 这里的索引格式在logstash传输到es时就 阅读全文

摘要： 可以直接将结果输出到文件： mysql -u用户名 -p'密码' -D'数据库' -h'IP地址' -e"要执行的SQL" > /tmp/file.txt 阅读全文

摘要： 第1章 Elasticsearch概述 1.1 elasticsearch是什么 分类： 结构化数据（关系型数据库，比如mysql，表结构，索引，方便管理和查询，难扩展） 非结构化数据（比如二维表，视频，图片，服务器日志，报表等。存储和查询难度大，一般保存在nosql中，mongodb、redis、 阅读全文

摘要： 1.Excel介绍 Excel是当今最流行的电子表格处理软件，支持丰富的计算函数及图表，在系统运营方面广泛用于运营数据报表，比如业务质量、资源利用、安全扫描等报表，同时也是应用系统常见的文件导出格式，以便数据使用人员做进一步加工处理。本节主要讲述利用Python操作Excel的模块XlsxWrite 阅读全文

摘要： 1.模块介绍 pycurl（http://pycurl.sourceforge.net）是一个用C语言写的libcurl Python实现，功能非常强大，支持的操作协议有FTP、HTTP、HTTPS、TELNET等，可以理解成Linux下curl命令功能的Python封装，简单易用。本节通过调用py 阅读全文

摘要： 1.filecmp模块介绍 当我们进行代码审计或校验备份结果时，往往需要检查原始与目标目录的文件一致性，Python的标准库已经自带了满足此需求的模块filecmp。filecmp可以实现文件、目录、遍历子目录的差异对比功能。比如报告中输出目标目录比原始多出的文件或子目录，即使文件同名也会判断是否为 阅读全文

摘要： 1.difflib介绍 difflib作为Python的标准库模块，无需安装，作用是对比文本之间的差异，且支持输出可读性较强的HTML文档，与linux下的diff命令类似。我们可以使用difflib对比代码，配置文件的差别，在版本控制方面是非常有用。Python2.3或更高版本默认自带diffli 阅读全文