随笔分类 -  日志分析

日志分析(六)业务异常日志分解
摘要：1.初步分离业务系统在运行期间会抛出来一些运行期异常日志，监控这些日志，过滤多余其它日志，然后给予相应owner告警就成为异常监控的目标之一。logstash配置如下：input {file {type => "exception"path => "/Users/xxxxx/Documents/xx... 阅读全文
posted @ 2015-05-29 21:31 飞昂之雪 阅读(1251) 评论(0) 推荐(0)
日志分析(七)日志处理
摘要：1.http请求参数分离请求url一般携带了一些业务参数，因为业务将token拼接到url的参数中，单独将其解析出来，可以用于用户行为分析，因此，基于logstash的kv进行处理。kv{ source=>"request" field_split=>"?"}2.垃圾日志清理静态页面里面... 阅读全文
posted @ 2015-05-29 21:19 飞昂之雪 阅读(379) 评论(0) 推荐(0)
日志分析(五) PV&UV
摘要：应用设计请求之初，对于url有一定的规划。因此，请求的url格式类似如下：/**/school/****?token=a66cb2a3-e0b7-4f0a-b332-*********token唯一代表一个用户，因此，解析出token，就可以精确计算出UV。每一个请求都算一个PV，因此，统计所有请求... 阅读全文
posted @ 2015-05-07 15:43 飞昂之雪 阅读(1980) 评论(0) 推荐(0)
日志分析(四) Elasticsearch的精确查询
摘要：在需要做精确查询时，往往不希望做全文模糊搜索，这时，需要告知Elasticsearch在处理我们提供的字符串时，需要做精确匹配。此时，在需要做精确匹配的字符串上，加上””，如”/user/info”。这时Elasticsearch在进行query_string时将针对/user/info整体进行查询... 阅读全文
posted @ 2015-05-07 15:41 飞昂之雪 阅读(723) 评论(0) 推荐(0)
日志分析(一) 环境准备
摘要：参照http://nkcoder.github.io/blog/20141031/elkr-log-platform-deploy/此作者搭建环境过程。借一张图：搭建版本为：Elasticsearch：1.5.2Logstash：1.4.2Kibana：4.0.2Shipper节点配置如下：inpu... 阅读全文
posted @ 2015-05-04 23:35 飞昂之雪 阅读(276) 评论(0) 推荐(0)
日志分析(三) kibana数据展示
摘要：kibana最新版本支持自定义数据大盘了，今天试用了下，感觉非常棒。上图：支持多维度定义视图，然后视图里面可以依据粗粒度维度进行图表归类。总之，比旧版本强大太多了。后面试试能否扩展加入耦合一定业务数据的数据的图表。 阅读全文
posted @ 2015-05-04 23:15 飞昂之雪 阅读(2697) 评论(0) 推荐(0)
日志分析(二) logstash patterns
摘要：grok-patterns内置了很多基础变量的正则表达式的log解析规则，其中包括apache的log解析（同样可以用于nginx的log解析）。基于nginx日志分析配置：1.配置nginx日志格式如下：log_format main '$remote_addr [$time_local]'' "... 阅读全文
posted @ 2015-05-04 16:39 飞昂之雪 阅读(3358) 评论(0) 推荐(0)