随笔分类 - 日志分析
摘要:1.初步分离业务系统在运行期间会抛出来一些运行期异常日志,监控这些日志,过滤多余其它日志,然后给予相应owner告警就成为异常监控的目标之一。logstash配置如下:input {file {type => "exception"path => "/Users/xxxxx/Documents/xx...
阅读全文
摘要:1.http请求参数分离请求url一般携带了一些业务参数,因为业务将token拼接到url的参数中,单独将其解析出来,可以用于用户行为分析,因此,基于logstash的kv进行处理。kv{ source=>"request" field_split=>"?"}2.垃圾日志清理静态页面里面...
阅读全文
摘要:应用设计请求之初,对于url有一定的规划。因此,请求的url格式类似如下:/**/school/****?token=a66cb2a3-e0b7-4f0a-b332-*********token唯一代表一个用户,因此,解析出token,就可以精确计算出UV。每一个请求都算一个PV,因此,统计所有请求...
阅读全文
摘要:在需要做精确查询时,往往不希望做全文模糊搜索,这时,需要告知Elasticsearch在处理我们提供的字符串时,需要做精确匹配。此时,在需要做精确匹配的字符串上,加上””,如”/user/info”。这时Elasticsearch在进行query_string时将针对/user/info整体进行查询...
阅读全文
摘要:参照http://nkcoder.github.io/blog/20141031/elkr-log-platform-deploy/此作者搭建环境过程。借一张图:搭建版本为:Elasticsearch:1.5.2Logstash:1.4.2Kibana:4.0.2Shipper节点配置如下:inpu...
阅读全文
摘要:kibana最新版本支持自定义数据大盘了,今天试用了下,感觉非常棒。上图:支持多维度定义视图,然后视图里面可以依据粗粒度维度进行图表归类。总之,比旧版本强大太多了。后面试试能否扩展加入耦合一定业务数据的数据的图表。
阅读全文
摘要:grok-patterns内置了很多基础变量的正则表达式的log解析规则,其中包括apache的log解析(同样可以用于nginx的log解析)。基于nginx日志分析配置:1.配置nginx日志格式如下:log_format main '$remote_addr [$time_local]'' "...
阅读全文