随笔分类 - 日志分析
摘要：负责搭建公司日志分析，一直想把CDN日志也放入到日志分析，前些日志终于达成所愿，现在贴出具体做法： 1、收集日志 腾讯云CDN日志一般一小时刷新一次，也就是说当前只能下载一小时之前的日志数据，但据本人观察，有时前一小时的并下载不到，所以为了保险起见，可以下载两小时之前的日志数据。下载日志可以通过腾讯
阅读全文
posted @ 2017-02-27 19:01
hexm
摘要：先谈下我们需求，一个比较大的nginx访问日志，根据访问日期切割日志，保存在/tmp目录下。 测试机器为腾讯云机子，单核1G内存。测试日志大小80M。 不使用多线程版： #!/usr/bin/env python # coding=utf-8 import re import datetime if
阅读全文
posted @ 2016-12-29 16:38
hexm
摘要：代码： 结果： 代码解释： mapper()方法：接收一行访问日志，将数据解析成key=请求的URL，value=1 reducer_sum()方法：计算出每个请求的URL的访问量，并输出 null [3, "/forum.php"]这种形式 reducer_top10()方法：对[3, "/for
阅读全文
posted @ 2016-12-28 14:00
hexm
摘要：代码： 代码解释： 定义了一个集成MRJob类的job类，这个类包含定义好的steps。 一个‘step’包含一个mapper，combiner和一个reducer，这些是可选的，但是必须使用至少一个。 mapper()方法有两个参数key,value（这个例子中，key被忽略，每行日志作为一个va
阅读全文
posted @ 2016-12-28 10:57
hexm
摘要：前一阵子，搭建了ELK日志分析平台，用着挺爽的，再也不用给开发拉各种日志，节省了很多时间。 这篇博文是介绍用python代码实现日志分析的，用MRJob实现hadoop上的mapreduce，可以直接放到hadoop集群上运行。 mrjob可以让我们使用Python编写MapReduce运算，并在多
阅读全文
posted @ 2016-12-28 10:08
hexm
摘要：脚本文件： #!/usr/bin/env python import datetime import time import urllib import json import urllib2 import os import sys # ElasticSearch Cluster to Monit
阅读全文
posted @ 2016-12-26 14:09
hexm
摘要：日志分析面板导出的json文件，效果图如下： 下载地址：http://files.cnblogs.com/files/xiaoming279/%E9%9D%A2%E6%9D%BF.zip 主机面板 主要包括日访问量，访问分布情况，访问曲线，状态码，蜘蛛等，在主机名可选择某一主机，查看某一主机情况。
阅读全文
posted @ 2016-12-26 13:55
hexm
摘要：这是几个示例界面，我放到了grafana的官网，有兴趣的朋友可以看下。 主机示例：https://grafana.net/dashboards/1004 域名情示例1：https://grafana.net/dashboards/1007 域名示例2：https://grafana.net/dash
阅读全文
posted @ 2016-12-06 15:48
hexm
摘要：grafana依赖mysql存储数据，首先需要安装mysql 安装mysql 解压 编译参数 # cmake \ -DCMAKE_INSTALL_PREFIX=/usr/local/app/mysql-5.6.14 \ -DMYSQL_DATADIR=/data/mysql \ -DMYSQL_UN
阅读全文
posted @ 2016-11-29 11:58
hexm
摘要：在这里，以两台es集群为例。 es集群健康状况有三种状态，这里我们搭建的es集群，只要两台不同时挂掉，数据不会丢失。 举个例子： 比如说现在集群节点es1位主节点，es2位复制分片节点，默认情况下，两台es都接收logstash传过来的日志，是负载均衡的。 如果es1宕掉，es2会被提升为主节点，只
阅读全文
posted @ 2016-11-29 11:42
hexm
摘要：logstash是java应用，依赖JDK，首先需要安装JDK，在安装jdk过程中，logstash-2.3.4使用JDK-1.7版本有bug，使用JDK-1.8版本正常，因此我们安装JDK-1.8版本。 安装JDK 官网地址：http://www.oracle.com/technetwork/ja
阅读全文
posted @ 2016-11-29 11:26
hexm
摘要：在进行前面准备之后可以开始安装了，我们的安装顺序是filebeat >logstash >elasticsearch filebeat安装很简单，先下载filebeat，这里我们使用1.2.3版本。 filebeat官网：https://www.elastic.co/products/beats/f
阅读全文
posted @ 2016-11-29 11:02
hexm
摘要：服务器版本及硬件配置 软件版本信息 主机规划 10.80.2.83 10.80.2.84 关闭selinux及iptables 设置文件描述符个数 定时任务同步时间
阅读全文
posted @ 2016-11-25 15:58
hexm
摘要：网站的简版拓扑图 在开始搭建之前，先简单了解一下拓扑图 说明：网站入口是lvs+keepalived实现的高可用，后端两台nginx，将请求反向代理到后端web服务器的各个nginx之上，然后nginx交由php处理动态程序。 当然这只是一个简版图，实际环境中要比这复杂的多，分了各个频道，比如gam
阅读全文
posted @ 2016-11-25 14:59
hexm
摘要：1 ELK各组件介绍？ ELK Stack是elasticsearch、logstash、kibana是三个开源软件的组合， fielbeat是一个轻量级日志收集工具，类似于Linux系统中tail -f监控文件变化的功能。 Logstash是一款开源的日志收集处理框架，负责数据的采集和格式化 El
阅读全文
posted @ 2016-11-25 10:31
hexm
摘要：在接下来几篇文章中，将会为大家简要介绍日志分析系统各组件功能，以及实战部署一套能实际应用到线上的日志系统，以及对日志数据的监控。 主要做四个界面： 日志分析 第一章 ELK介绍 地址：http://www.cnblogs.com/xiaoming279/p/6100613.html 日志分析 第二章
阅读全文
posted @ 2016-11-24 00:23
hexm
浙公网安备 33010602011771号