Fork me on GitHub
RainingNight
雨夜朦胧

ASP.NET Core Logging in Elasticsearch with Kibana

在微服务化盛行的今天,日志的收集、分析越来越重要。ASP.NET Core 提供了一个统一的,轻量级的Logining系统,并可以很方便的与第三方日志框架集成。我们也可以根据不同的场景进行扩展,因为ASP.NET Core Logining系统设计的非常灵活性,我们可以很容易的添加自己的LogProvider。本文就来介绍一下如何借助于 ELKstack 来实现在分布式环境下的集中式日志处理。

使用Docker部署Elasticsearch和Kibana

ELKstack是Elasticsearch、Logstash、Kibana三个开源软件的组合,是当今最为流行的统一日志分析平台。对于它们的介绍,网上非常之多,这里就不再多说。

在本文中只使用了ElasticsearchKibana,前者是分布式搜索系统,后者是一个可视化平台,使用docker来部署非常简单:

部署Elasticsearch

如下,绑定端口9200,并将容器命名为elasticsearch

docker run --name=elasticsearch -d -p 9200:9200 -e "http.host=0.0.0.0" -e "transport.host=127.0.0.1" docker.elastic.co/elasticsearch/elasticsearch:6.2.2

然后在浏览器中打开 http://localhost:9200/,输出如下:

{
	"name": "qFQvLqr",
	"cluster_name": "docker-cluster",
	"cluster_uuid": "bdc5YhZlQHu0mCN7acNKBw",
	"version": {
		"number": "6.2.2",
		"build_hash": "10b1edd",
		"build_date": "2018-02-16T21:01:30.685723Z",
		"build_snapshot": false,
		"lucene_version": "7.2.1",
		"minimum_wire_compatibility_version": "5.6.0",
		"minimum_index_compatibility_version": "5.0.0"
	},
	"tagline": "You Know, for Search"
}

部署Kibana

Kibana的部署依赖于Elasticsearch:

docker run --name=kibana --link=elasticsearch -d -p 5601:5601 docker.elastic.co/kibana/kibana:6.2.2

主要注意的是,在这里使用了--link=elasticsearch来链接到elasticsearch容器,如果要使用外部的elasticsearch服务,可以使用-e "elasticsearch.url=http://changeme:9200"来指定。

然后在浏览器中打开 http://localhost:5601/

kibana_empty

如上,部署成功,不过还没有任何数据。

使用docker-compose部署

当需要部署多个相关的服务时,更加推荐使用docker-compose来部署:

首先,我们创建一个docker-compose.yml文件:

version: '3'
services:
  elasticsearch:
    image: docker.elastic.co/elasticsearch/elasticsearch:${TAG}
    container_name: elasticsearch
    environment:
      - http.host=0.0.0.0
      - transport.host=127.0.0.1
      - ELASTICSEARCH_PASSWORD=${ELASTIC_PASSWORD}
    ports:
      - 9200:9200
    networks: 
      - stack

  kibana:
    image: docker.elastic.co/kibana/kibana:${TAG}
    container_name: kibana
    environment:
      - ELASTICSEARCH_USERNAME=kibana
      - ELASTICSEARCH_PASSWORD=${ELASTIC_PASSWORD}
    ports: 
      - 5601:5601
    networks: 
      - stack
    depends_on: 
      - elasticsearch

networks:
  stack:
    driver: bridge

如上,我们定义了TAGELASTIC_PASSWORD两个环境变量,方便在部署时候灵活的指定版本号和密码。

为方便测试部署,我们可以定义一个默认的环境变量文件.env

TAG=6.2.2
ELASTIC_PASSWORD=Qwer1234

然后,直接运行如下命令即可:

docker-compose up

接下来,将日志写入到Elasticsearch。

记录日志到Elasticsearch

我们创建一个 ASP.NET Core WebApi 项目,添加如下Package:

dotnet add package Zero.Logging.Elasticsearch --version 1.0.0-alpha3-20180228

添加ElasticsearchProvider

然后在Program.cs文件中使用AddElasticsearch扩展方法为日志系统添加ElasticsearchProvider

public static IWebHost BuildWebHost(string[] args) =>
    WebHost.CreateDefaultBuilder(args)
        .ConfigureLogging((hostingContext, logging) =>
        {
            logging.AddElasticsearch();
        })
        .UseStartup<Startup>()
        .Build();

记录日志

对于日志的记录则不需要任何的修改:

public class ValuesController : Controller
{
    private readonly ILogger _logger;

    public ValuesController(ILogger<ValuesController> logger)
    {
        _logger = logger;
    }

    [HttpGet]
    public void Get()
    {
        _logger.LogTrace("Log Trace.");
        _logger.LogInformation("Log Information.");
        _logger.LogDebug("Log Debug.");
        try
        {
            throw new Exception("Boom");
        }
        catch (Exception ex)
        {
            _logger.LogCritical(1, ex, "Unexpected critical error starting application");
            _logger.LogError(1, ex, "Unexpected error");
            _logger.LogWarning(1, ex, "Unexpected warning");
        }
    }
}

在Kibana查看

刷新浏览器,显示如下:

kibana_initdata

在Index pattern中输入logstash-*,点击下一步:

kibana_index

如上,选择timestamp,创建索引,最终显示如下:

kinaba_discover

配置

如上,一行代码,零配置完成了Elasticsearch的写入,默认使用的Elasticsearch地址为http://localhost:9200,如果我们需要额外的配置也很简单,有如下两种方式:

使用配置文件进行配置

appsettings.json中添加如下配置(Elasticsearch节点):

{
  "Logging": {
    "IncludeScopes": false,
    "Console": {
      "LogLevel": {
        "Default": "Warning"
      }
    },
    "Elasticsearch": {
      "LogLevel": {
        "Default": "Information"
      },
      "ElasticsearchUrl": "http://changeme:9200",
      "AutoRegisterTemplate": true
    }
  }
}

使用代码进行配置

WebHost.CreateDefaultBuilder(args)
    .ConfigureLogging((hostingContext, logging) =>
    {
        logging.AddFile().AddElasticsearch(o =>
        {
            o.PipelineName = "http://changeme:9200";
            o.AutoRegisterTemplate = true;
        });
    })

需要注意,如果使用代码的方式进行配置,则配置文件中的配置不再生效。

更多的配置信息参见 EsLoggerOptions

总结

由于Log4Net, Nlog, Serilog 等流行的日志框架的侵入性太强,故通过对各种开源框架的借鉴,完全基于微软的 Logging 设计思想开发了 zero-logging 框架,现在功能还较为简陋,计划下一步实现结构化日志分析,欢迎交流学习。

相关文章:ASP.NET Core 源码学习之 Logging

posted @ 2018-03-01 09:27  雨夜朦胧  阅读(2388)  评论(7编辑  收藏