IIS日志存入数据库之二：ETW

在上一篇文章《IIS日志存入数据库之一：ODBC》中，我提到了ODBC方式保存的缺点，即：无法保存响应时间以及接收和响应的字节数。

 

如果一定要获取响应时间以及接收和响应的字节数的话，就要另想办法了。备选的方法有：

（1）寻找有没有现成的IIS日志模块。

（2）重写IIS的日志模块。

（3）在现有的IIS日志模块的基础上进行改造。

 

下面是对三种备选方法的探索：

（1）针对方法1，在IIS的官网上找到了一个名为Adanced logging的日志模块，，，然并卵。

（2）针对方法2，改写的工作量较大，且可以会性能问题，故抛弃。

（3）针对方法3，发现iis日志的保存目标可以为ETW事件，故采用。如下图所示：

 

下面介绍一下如何订阅IIS的ETW事件。ps：关于ETW事件的介绍，请查看我的另外一篇文章：《在.net中使用ETW事件的方法》

核心代码

        private void button1_Click(object sender, EventArgs e)
        {
            try
            {

                using (var session = new TraceEventSession("IIS-Logging"))         // 创建一个session
                {
                    session.EnableProvider("Microsoft-Windows-IIS-Logging"); // Microsoft-Windows-IIS-Logging 是IIS日志模块提供的provider的名称

                    session.Source.Registered.All += Registered_All;  // 注册事件处理函数

                    session.Source.Process();  // Wait for incoming events (forever).  
                }
            }
            catch
            {
            }
        }


        /// <summary>
        /// 事件处理函数
        /// </summary>
        /// <param name="data"></param>
        void Registered_All(TraceEvent data)
        {
            try
            {
                string logString = data.FormattedMessage; // 返回日志项的字符串形式
                
                // 将文本转换成对象
                IISLogEntry logEntry = new IISLogEntry(logString);

                IISLogEntry.Add(logEntry);
            }
            catch
            {
            }
        }

    　上述代码创建会话了，绑定了事件源（IIS的ETW事件提供者），订阅了事件源。这段代码有两个关键点：

　　（1）怎么知道IIS日志模块的事件提供程序的名称是“Microsoft-Windows-IIS-Logging”呢？答案是通过命令行指令：logman query providers。下面是这个指令返回的结果:

 

　　（2）在绑定ETW事件处理程序的时候，我们使用了session.Source.Registered,　session.Source.Registered返回了一个RegisteredTraceEventParser对象，通过这个对象我们才能在事件处理程序中使用data.FormattedMessage来取得日志项的内容。有关RegisteredTraceEventParser，官方文档中有这么一句：

　　RegisteredTraceEventParser – which knows about any event provider that registers itself with the operating system (using the wevtutil command)).  

　　This includes most providers that ship with the windows operating system that are NOT the kernel provider or EventSources.  You can see a list of such providers with the ‘logman query providers’ command.

 

外围代码（解析日志字符串，存入数据库）

using System;
using System.Collections.Generic;
using System.ComponentModel.DataAnnotations;
using System.ComponentModel.DataAnnotations.Schema;





[Table("IISLogEntry")]
public class IISLogEntry
{
    [Key]
    public long Id { get; set; }


    /// <summary>
    /// 服务端信息
    /// </summary>
    public Server Server { set; get; }

    /// <summary>
    /// 客户端信息
    /// </summary>
    public Client Client { get; set; }


    /// <summary>
    /// 请求信息
    /// </summary>
    public Request Request { get; set; }


    /// <summary>
    /// 响应信息
    /// </summary>
    public Response Response { get; set; }




    /// <summary>
    /// 构造函数
    /// </summary>
    public IISLogEntry() { }



    /// <summary>
    /// 构造函数。使用字符串来构造一个日志对象
    /// </summary>
    /// <param name="logString"></param>
    public IISLogEntry(string logString)
    {
        try
        {
            string[] array = logString.Trim().Split(new char[] { ' ' });

            Dictionary<string, string> dictionary = new Dictionary<string, string>();
            //将数组中的值放入到字典中，奇数项为key，偶数项为value
            for (int i = 0; i < array.Length; i++)
            {
                if (i % 2 == 0)
                {
                    dictionary.Add(array[i], "");
                }
                if (i % 2 == 1)
                {
                    dictionary[array[i - 1]] = array[i];
                }
            }

            this.Server = new Server()
            {
                IP = dictionary["s-ip"],
                Port = int.Parse(dictionary["s-port"]),
                Name = dictionary["s-computername"]
            };
            this.Client = new Client()
            {
                IP = dictionary["c-ip"],
                UserAgent = dictionary["cs(User-Agent)"],
                UserName = dictionary["cs-username"]
            };
            this.Request = new Request()
            {
                RequestDateTime = DateTime.Now,
                Method = dictionary["cs-method"],
                UriResource = dictionary["cs-uri-stem"],
                UriQuery = dictionary["cs-uri-query"],
                BytesReceived = this.ConvertToLong(dictionary["cs-bytes"])
            };
            this.Response = new Response()
            {
                TimeTaken = this.ConvertToLong(dictionary["time-taken"]),
                BytesSent = this.ConvertToLong(dictionary["sc-bytes"]),
                Status = int.Parse(dictionary["sc-status"]),
                SubStatus = int.Parse(dictionary["sc-substatus"]),
                Win32Status = int.Parse(dictionary["sc-win32-status"]),
            };
        }
        catch (Exception exp)
        {
            throw new Exception("格式转换失败。\n日志字符串为：" + logString + "\n异常信息：" + exp.Message);
        }
    }





    //**************************** CRUD ************************************
    public static bool Add(IISLogEntry data)
    {
        using (IISLogDbContext db = new IISLogDbContext())
        {
            db.IISLogEntries.Add(data);

            try
            {
                db.SaveChanges();
                return true;
            }
            catch
            {
                return false;
            }
        }
    }





    /// <summary>
    /// 将带千分号的字符串转换成长整型。如：4,939
    /// </summary>
    /// <param name="str"></param>
    /// <returns></returns>
    private long ConvertToLong(string str)
    {
        string str2 = str.Replace(",", "");
        return long.Parse(str2);
    }

}





/// <summary>
/// 服务端信息
/// </summary>
[ComplexType]
public class Server
{
    /// <summary>
    /// 服务器名称。对应：s-computername
    /// </summary>
    [MaxLength(50)]
    public string Name { set; get; }


    /// <summary>
    /// 服务器IP。对应：s-ip
    /// </summary>
    [MaxLength(15)]
    public string IP { set; get; }


    /// <summary>
    /// 服务器端口。对应：s-port
    /// </summary>
    public int Port { set; get; }


}



/// <summary>
/// 客户端信息
/// </summary>
[ComplexType]
public class Client
{
    /// <summary>
    /// 客户端IP。对应：c-ip
    /// </summary>
    [MaxLength(15)]
    public string IP { set; get; }


    /// <summary>
    /// 客户端所使用的用户代理。对应： cs(User-Agent)
    /// </summary>
    [MaxLength(200)]
    public string UserAgent { set; get; }


    /// <summary>
    /// 登录的用户名。对应： cs-username
    /// </summary>
    [MaxLength(20)]
    public string UserName { set; get; }


}






/// <summary>
/// 请求信息
/// </summary>
[ComplexType]
public class Request
{
    /// <summary>
    /// 请求时间。对应：date和time
    /// </summary>
    public DateTime RequestDateTime { set; get; }


    /// <summary>
    /// 方法。对应：cs-method
    /// </summary>
    [MaxLength(10)]
    public string Method { set; get; }


    /// <summary>
    /// uri资源。对应：cs-uri-stem 
    /// </summary>
    [MaxLength(1000)]
    public string UriResource { get; set; }


    /// <summary>
    /// uri查询。对应：cs-uri-query 
    /// </summary>
    [MaxLength(1000)]
    public string UriQuery { get; set; }



    /// <summary>
    /// 接收的字节数，单位为byte。对应：cs-bytes
    /// </summary>
    public long BytesReceived { get; set; }



}



/// <summary>
/// 响应信息
/// </summary>
[ComplexType]
public class Response
{
    /// <summary>
    /// 状态码。对应：sc-status 
    /// </summary>
    public int Status { get; set; }


    /// <summary>
    /// 子状态码。 对应：sc-substatus
    /// </summary>
    public int SubStatus { get; set; }

    /// <summary>
    /// win32状态码。 对应：sc-win32-status
    /// </summary>
    public int Win32Status { get; set; }


    /// <summary>
    ///  发送的字节数，单位为byte。对应：sc-bytes
    /// </summary>
    public long BytesSent { get; set; }


    /// <summary>
    ///  所用时间，单位为ms。对应： time-taken
    /// </summary>
    public long TimeTaken { get; set; }


}

 上述代码是日志项实体。这里我们使用了EF作为ORM框架，mssql作为数据库。

using System.Data.Entity;
using System.Data.Entity.ModelConfiguration.Conventions;


public class IISLogDbContext : DbContext
{

    public IISLogDbContext()
        : base("IISLog")
    {
    }


    /// <summary>
    /// 这个类的注释中的值，只用于在开发的时候进行选配
    /// </summary>
    static IISLogDbContext()
    {
        // Database.SetInitializer(new DropCreateDatabaseAlways<IISLogDbContext>());
        //  Database.SetInitializer(new CreateDatabaseIfNotExists<IISLogDbContext>());
        // Database.SetInitializer(new DropCreateDatabaseIfModelChanges<IISLogDbContext>());
    }


    /// <summary>
    /// 初始化，当模型创建的时候，
    /// </summary>
    /// <param name="modelBuilder"></param>
    protected override void OnModelCreating(DbModelBuilder modelBuilder)
    {
        modelBuilder.Conventions.Remove<PluralizingTableNameConvention>(); // 移除协定：表名复数化
        base.OnModelCreating(modelBuilder);
    }



    // *********************  DbSet **************************

    public DbSet<IISLogEntry> IISLogEntries { get; set; }


}

 上述代码是数据上下文。

 

 最后提一句，怎么找到官方文档呢？在使用nuget获取Microsoft TraceEvent Library之后，工程文件中就会多一个名为“_TraceEventProgrammersGuide.docx”的文件，它就是官方文档。如下所示：