日志收集系统

一、项目背景

a.每个系统都有日志，当系统出现问题时，需要通过日志解决问题
b.当系统机器比较少时，登陆到服务器上查看即可满足 
c.当系统机器规模巨大，登陆到机器上查看几乎不现实

二、解决方案

a.把机器上的日志实时收集，统一的存储到中心系统
b.然后再对这些日志建立索引，通过搜索即可以找到对应日志 
c.通过提供界面友好的web界面，通过web即可以完成日志搜索

三、面临的问题

a.实时日志量非常大，每天几十亿条
b.日志准实时收集，延迟控制在分钟级别 
c.能够水平可扩展

四、业界方案ELK

五、elk方案问题

a.运维成本高，每增加一个日志收集，都需要手动修改配置
b.监控缺失，无法准确获取logstash的状态 
c.无法做定制化开发以及维护

六、日志收集系统设计

 

七、各组件介绍

a.Log Agent，日志收集客户端，用来收集服务器上的日志
b.Kafka，高吞吐量的分布式队列，linkin开发，apache顶级开源项目
c.ES，elasticsearch，开源的搜索引擎，提供基于http restful的web接口
d.Hadoop，分布式计算框架，能够对大量数据进行分布式处理的平台

7.1 kafka应用场景

　　1.异步处理, 把非关键流程异步化，提高系统的响应时间和健壮性

 

　　2.应用解耦,通过消息队列

 

 

　　3.流量削峰

 

7.2 zookeeper应用场景

1. 服务注册&服务发现

 

　　2.配置中心

 

　　3.分布式锁

Zookeeper是强一致的
多个客户端同时在Zookeeper上创建相同znode，只有一个创建成功

八、安装kafka

a.安装JDK，从oracle下载最新的SDK安装
b.安装zookeeper3.3.6，下载地址：http://apache.fayea.com/zookeeper/ 
    1）mv conf/zoo_sample.cfg conf/zoo.cfg
    2）编辑 conf/zoo.cfg，修改dataDir=D:\zookeeper-3.3.6\data\
    3）运行bin/zkServer.cmd
c. 安装kafka
    1）打开链接：http://kafka.apache.org/downloads.html下载kafka2.1.2
    2）打开config目录下的server.properties， 修改log.dirs为D:\kafka_logs,修改advertised.host.name=服务器ip
    3）启动kafka ./bin/windows/kafka-server-start.bat ./config/server.preperties

九、log agent设计

十、log agent流程

 

 十一、kafka示例代码

　　go get github.com/Shopify/sarama 

package main

import (
    "fmt"
    "github.com/Shopify/sarama"
)


func main() {
    config := sarama.NewConfig()
    config.Producer.RequiredAcks = sarama.WaitForAll  //发送消息给kafka，等待kafka返回ack，确认收到消息。防止消息丢失。
    config.Producer.Partitioner = sarama.NewRandomPartitioner //分区的策略是随机的
    config.Producer.Return.Successes = true
    msg := &sarama.ProducerMessage{}
    msg.Topic = "nginx_log"
    msg.Value = sarama.StringEncoder("this is a good test, my message is good")  //存入的日志
    client, err := sarama.NewSyncProducer([]string{"192.168.31.177:9092"}, config) //配置kafka的IP，生成一个客户端
    if err != nil {
        fmt.Println("producer close, err:", err)
        return
    }
    defer client.Close()
    pid, offset, err := client.SendMessage(msg)  //pid分区号，offset偏移
    if err != nil {
        fmt.Println("send message failed,", err)
        return
    }
    fmt.Printf("pid:%v offset:%v\n", pid, offset)
}

kafka_2.12-1.0.1\bin\windows\kafka-console-consumer.bat   //自带的消费者测试程序
kafka-console-consumer.bat --zookeeper localhost:2181  --topic nginx_log --from-beginning

十二、tailf组件使用

package main


import (
    "fmt"
    "github.com/hpcloud/tail"
    "time"
)

func main() {
    filename := "./my.log"  //要读取的文件的名字
    tails, err := tail.TailFile(filename, tail.Config{
        ReOpen:    true,
        Follow:    true,
        Location: &tail.SeekInfo{Offset: 0, Whence: 2},  //2从末尾开始读
        MustExist: false, //文件不存在也不会报错
        Poll:    true, //轮询
    })

    if err != nil {
        fmt.Println("tail file err:", err)
        return
    }
    var msg *tail.Line
    var ok bool
    for true {
        msg, ok = <-tails.Lines
        if !ok {
            fmt.Printf("tail file close reopen, filename:%s\n", tails.Filename)
            time.Sleep(100 * time.Millisecond)
            continue
        }
    fmt.Println("msg:", msg.Text)    
    }
}

十三、配置文件库使用

Import “github.com/astaxie/beego/config”

1. 初始化配置库

iniconf, err := NewConfig("ini", "testini.conf")
if err != nil {
    t.Fatal(err)
}

　　2. 读取配置项

String(key string) string
Int(key string) (int, error)
Int64(key string) (int64, error)
Bool(key string) (bool, error)
Float(key string) (float64, error)

 

package main

import (
    "fmt"
    "github.com/astaxie/beego/config"
)


func main() {
    conf, err := config.NewConfig("ini", "./logcollect.conf")
    if err != nil {
        fmt.Println("new config failed, err:", err)
        return
    }
    port, err := conf.Int("server::port")
    if err != nil {
        fmt.Println("read server:port failed, err:", err)
        return
    }


    fmt.Println("Port:", port)
    log_level, err := conf.Int("log::log_level")
    if err != nil {
        fmt.Println("read log_level failed, ", err)
        return
    }

    fmt.Println("log_level:", log_level)
    log_path := conf.String("log::log_path")
    fmt.Println("log_path:", log_path)

}

十四、日志库的使用

Import “github.com/astaxie/beego/logs” 

1. 配置log组件

config := make(map[string]interface{} 
config["filename"] = "./logs/logcollect.log" 
config["level"] = logs.LevelDebug 
configStr, err := json.Marshal(config) 
if err != nil {
    fmt.Println("marshal failed, err:", err)
    return
}

　　2.初始化日志组件

logs.SetLogger(“file”, string(configStr))

package main

import (
    "encoding/json"
    "fmt"
    "github.com/astaxie/beego/logs"
)


func main() {
    config := make(map[string]interface{})
    config["filename"] = "./logs/logcollect.log"
    config["level"] = logs.LevelDebug
    configStr, err := json.Marshal(config)
    if err != nil {
        fmt.Println("marshal failed, err:", err)
        return
    }

    logs.SetLogger(logs.AdapterFile, string(configStr))
    logs.Debug("this is a test, my name is %s", "stu01")
    logs.Trace("this is a trace, my name is %s", "stu02")
    logs.Warn("this is a warn, my name is %s", "stu03")

}

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

astaxie/beego/logs”