logging模块

1 logging模块简介

logging模块是Python内置的标准模块，主要用于输出运行日志，可以设置输出日志的等级、日志保存路径、日志文件回滚等；相比print，具备如下优点：

可以通过设置不同的日志等级，在release版本中只输出重要信息，而不必显示大量的调试信息；
print将所有信息都输出到标准输出中，严重影响开发者从标准输出中查看其它数据；logging则可以由开发者决定将信息输出到什么地方，以及怎么输出

2 logging模块使用

　　函数式简单配置

import logging  
logging.debug('debug message')  
logging.info('info message')  
logging.warning('warning message')  
logging.error('error message')  
logging.critical('critical message')

　　默认情况下Python的logging模块将日志打印到了标准输出中，且只显示了大于等于WARNING级别的日志，这说明默认的日志级别设置为WARNING（日志级别等级CRITICAL > ERROR > WARNING > INFO > DEBUG），默认的日志格式为日志级别：Logger名称：用户输出消息。

灵活配置日志级别，日志格式，输出位置:

import logging  
logging.basicConfig(level=logging.DEBUG,  # 日志输出等级
                    format='%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s',  
                    datefmt='%a, %d %b %Y %H:%M:%S',  　# 日志时间样式
                    filename='/tmp/test.log',  　　# 日志路径
                    filemode='w')  
  
logging.debug('debug message')  
logging.info('info message')  
logging.warning('warning message')  
logging.error('error message')  
logging.critical('critical message')

# %(key)s　　　　格式化   
# 例： print("%(key)s-%(key2)s"%{"key":"value","key2":"value2"})　　　　输出：value-value2

logging.basicConfig()函数中可通过具体参数来更改logging模块默认行为，可用参数有：

filename：用指定的文件名创建FiledHandler，这样日志会被存储在指定的文件中。
filemode：文件打开方式，在指定了filename时使用这个参数，默认值为“a”还可指定为“w”。
format：指定handler使用的日志显示格式。
datefmt：指定日期时间格式。
level：设置rootlogger（后边会讲解具体概念）的日志级别
stream：用指定的stream创建StreamHandler。可以指定输出到sys.stderr,sys.stdout或者文件(f=open(‘test.log’,’w’))，默认为sys.stderr。若同时列出了filename和stream两个参数，则stream参数会被忽略。

format参数中可能用到的格式化串：
%(name)s Logger的名字
%(levelno)s 数字形式的日志级别
%(levelname)s 文本形式的日志级别
%(pathname)s 调用日志输出函数的模块的完整路径名，可能没有
%(filename)s 调用日志输出函数的模块的文件名
%(module)s 调用日志输出函数的模块名
%(funcName)s 调用日志输出函数的函数名
%(lineno)d 调用日志输出函数的语句所在的代码行
%(created)f 当前时间，用UNIX标准的表示时间的浮 点数表示
%(relativeCreated)d 输出日志信息时的，自Logger创建以 来的毫秒数
%(asctime)s 字符串形式的当前时间。默认格式是 “2003-07-08 16:49:45,896”。逗号后面的是毫秒
%(thread)d 线程ID。可能没有
%(threadName)s 线程名。可能没有
%(process)d 进程ID。可能没有
%(message)s用户输出的消息

配置参数：logger对象配置

logger对象配置

import logging

logger = logging.getLogger()

# 创建一个handler，用于写入日志文件
fh = logging.FileHandler("test.log",encoding="utf-8")
# 再创建一个handler，用于输出到控制台
sh = logging.StreamHandler()  

# 设置日志输出级别

# 全局设置为DEBUG后，console handler 设置为INFO，如果输出的日志级别是debug，那就不会在屏幕上打印
# 相当于全局的筛选一边后，console 在筛选一边后打印到屏幕

logger.setLevel(level=logging.DEBUG)　　# 全局，优先级最高
fh.setLevel(logging.INFO)
sh.setLevel(logging.INFO)


#日志输出格式
formatter = logging.Formatter("%(asctime)s - %(name)s - %(levelname)s - %(message)s")
formatter2 = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s [line:%(lineno)d] : %(message)s')

# 文件操作符 和 格式关联
fh.setFormatter(formatter)
sh.setFormatter(formatter2)

# logger 对象 和 文件操作符 关联
logger.addHandler(fh)
logger.addHandler(sh)

logging.debug("debug message")
logging.info("info message")
logging.warning("警告信息")
logging.error("error message")
logging.critical("critical message")

logging库提供了多个组件：Logger、Handler、Filter、Formatter。Logger对象提供应用程序可直接使用的接口，Handler发送日志到适当的目的地，Filter提供了过滤日志信息的方法，Formatter指定日志显示格式。另外，可以通过：logger.setLevel(logging.Debug)设置级别,当然，也可以通过：fh.setLevel(logging.Debug)单对文件流设置某个级别

可以发现，logging有一个日志处理的主对象，其他处理方式都是通过addHandler添加进去，logging中包含的handler主要有如下几种，

handler名称：位置；作用

StreamHandler：logging.StreamHandler；日志输出到流，可以是sys.stderr，sys.stdout或者文件
FileHandler：logging.FileHandler；日志输出到文件
BaseRotatingHandler：logging.handlers.BaseRotatingHandler；基本的日志回滚方式
RotatingHandler：logging.handlers.RotatingHandler；日志回滚方式，支持日志文件最大数量和日志文件回滚
TimeRotatingHandler：logging.handlers.TimeRotatingHandler；日志回滚方式，在一定时间区域内回滚日志文件
SocketHandler：logging.handlers.SocketHandler；远程输出日志到TCP/IP sockets
DatagramHandler：logging.handlers.DatagramHandler；远程输出日志到UDP sockets
SMTPHandler：logging.handlers.SMTPHandler；远程输出日志到邮件地址
SysLogHandler：logging.handlers.SysLogHandler；日志输出到syslog
NTEventLogHandler：logging.handlers.NTEventLogHandler；远程输出日志到Windows NT/2000/XP的事件日志
MemoryHandler：logging.handlers.MemoryHandler；日志输出到内存中的指定buffer
HTTPHandler：logging.handlers.HTTPHandler；通过"GET"或者"POST"远程输出到HTTP服务器

日志回滚

使用RotatingFileHandler，可以实现日志回滚，

import logging
from logging.handlers import RotatingFileHandler
logger = logging.getLogger(__name__)
logger.setLevel(level = logging.INFO)
#定义一个RotatingFileHandler，最多备份3个日志文件，每个日志文件最大1K
rHandler = RotatingFileHandler("log.txt",maxBytes = 1*1024,backupCount = 3)
rHandler.setLevel(logging.INFO)
formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
rHandler.setFormatter(formatter)

console = logging.StreamHandler()
console.setLevel(logging.INFO)
console.setFormatter(formatter)

logger.addHandler(rHandler)
logger.addHandler(console)

logger.info("Start print log")
logger.debug("Do something")
logger.warning("Something maybe fail.")
logger.info("Finish")

设置消息的等级

可以设置不同的日志等级，用于控制日志的输出，

日志等级：使用范围

FATAL：致命错误
CRITICAL：特别糟糕的事情，如内存耗尽、磁盘空间为空，一般很少使用
ERROR：发生错误时，如IO操作失败或者连接问题
WARNING：发生很重要的事件，但是并不是错误时，如用户登录密码错误
INFO：处理请求或者状态变化等日常事务
DEBUG：调试过程中使用DEBUG等级，如算法中每个循环的中间状态

捕获traceback

Python中的traceback模块被用于跟踪异常返回信息，可以在logging中记录下traceback，

import logging
logger = logging.getLogger(__name__)
logger.setLevel(level = logging.INFO)
handler = logging.FileHandler("log.txt")
handler.setLevel(logging.INFO)
formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
handler.setFormatter(formatter)

console = logging.StreamHandler()
console.setLevel(logging.INFO)

logger.addHandler(handler)
logger.addHandler(console)

logger.info("Start print log")
logger.debug("Do something")
logger.warning("Something maybe fail.")
try:
    open("sklearn.txt","rb")
except (SystemExit,KeyboardInterrupt):
    raise
except Exception:
    logger.error("Faild to open sklearn.txt from logger.error",exc_info = True)

logger.info("Finish")

控制台和日志文件log.txt中输出，

Start print log
Something maybe fail.
Faild to open sklearn.txt from logger.error
Traceback (most recent call last):
  File "G:\zhb7627\Code\Eclipse WorkSpace\PythonTest\test.py", line 23, in <module>
    open("sklearn.txt","rb")
IOError: [Errno 2] No such file or directory: 'sklearn.txt'
Finish

也可以使用logger.exception(msg,_args)，它等价于logger.error(msg,exc_info = True,_args)，

将

logger.error("Faild to open sklearn.txt from logger.error",exc_info = True)

替换为，

logger.exception("Failed to open sklearn.txt from logger.exception")

控制台和日志文件log.txt中输出，

Start print log
Something maybe fail.
Failed to open sklearn.txt from logger.exception
Traceback (most recent call last):
  File "G:\zhb7627\Code\Eclipse WorkSpace\PythonTest\test.py", line 23, in <module>
    open("sklearn.txt","rb")
IOError: [Errno 2] No such file or directory: 'sklearn.txt'
Finish

filter组件

如果想对日志内容进行过滤，就可自定义一个filter

1 class IgnoreBackupLogFilter(logging.Filter):
2     """忽略带db backup 的日志"""
3     def filter(self,record):    # 固定写法
4         return "db backup" not in record.getMessage()
5 注意filter函数会返回 True or False，logger根据此值决定是否输出次日志

然后把这个 filter 添加到 logger 中

1 logger.addFilter(IgnoreBackupLogFilter())
2 
3 下面的日志就会把符合filter条件的过滤掉
4 
5 logger.debug("test ....")
6 logger.info("test info ....")
7 logger.warning("start to run db backup job ....")
8 logger.error("test error ....")

日志自动截断

1. logging.handlers.RotatingFileHandler

　　这个Handler类似于上面的FileHandler，但是它可以管理文件大小。当文件达到一定大小之后，它会自动将当前日志文件改名，然后创建一个新的同名日志文件继续输出。比如日志文件是chat.log。当chat.log达到指定的大小之后，RotatingFileHandler自动把文件改名为chat.log.1。不过，如果chat.log.1已经存在，会先把chat.log.1重命名为chat.log.2。。。最后重新创建chat.log，继续输出日志信息，他的函数是；

1 RotatingFileHandler(filename[, mode[, maxBytes[, backupCount]]]) 
2 filename：文件名 
3 mode：格式 
4 maxBytes：最大的字节 
5 backupCount：保留几个备份 
6 例：
7 from logging import handlers
8 fh = handlers.RotatingFileHandler("web.log",maxBytes=10,backupCount=3)

　　其中filename和mode两个参数和FileHandler一样

maxBytes用于指定日志文件的最大文件大小。如果maxBytes为0，意味着日志文件可以无限大，这时上面描述的重命名过程就不会发生。
backupCount用于指定保留的备份文件的个数。比如，如果指定为2，当上面描述的重命名过程发生时，原有的chat.log.2并不会被更名，而是被删除。

2. logging.handlers.TimedRotatingFileHandler

　　这个Handler和RotatingFileHandler类似，不过，它没有通过判断文件大小来决定何时重新创建日志文件，而是间隔一定时间就自动创建新的日志文件。重命名的过程与RotatingFileHandler类似，不过新的文件不是附加数字，而是当前时间。它的函数是：　　

 1 TimedRotatingFileHandler(filename [,when [,interval [,backupCount]]])
 2 
 3 filename ：文件
 4 when：参数是一个字符串。表示时间间隔的单位，不区分大小写。它有以下取值：
 5     S  秒
 6     M  分
 7     H  小时
 8     D  天
 9     W  每星期（interval==0时代表星期一）
10     midnight  每天凌晨
11 interval：是时间间隔
12 backupCount：保留几份
13 
14 例子：
15 from logging import handlers
16 fh = handlers.TimedRotatingFileHandler(filename="web.log",when="S",interval=5,backupCount=3)

例子：

import logging
from logging import handlers

# 全局设置为DEBUG后，console handler 设置为INFO，如果输出的日志级别是debug，那就不会在屏幕上打印
# 相当于全局的筛选一边后，console 在筛选一边后打印到屏幕

#1.生成 logger对象
logger = logging.getLogger("web")
logger.setLevel(logging.DEBUG)
#2.生成 handler对象
ch = logging.StreamHandler()
fh = logging.FileHandler("web.log")

# 自动分割 按内存大小分
#fh = handlers.RotatingFileHandler("web.log",maxBytes=10,backupCount=3)
# 按时间分割
# fh = handlers.TimedRotatingFileHandler(filename="web.log",when="S",interval=5,backupCount=3)

# 过滤关键字
class IgnoreBackupLogFilter(logging.Filter):
    """忽略带db backup 的日志"""

    def filter(self, record):  # 固定写法
        return "db backup" not in record.getMessage()
logger.addFilter(IgnoreBackupLogFilter())

#2.1 把handler对象绑定到logger
logger.addHandler(ch)
logger.addHandler(fh)


####fh = logging.RootLogger
#3。生成formatter对象
#3.1 把formatter对象绑定handler

file_formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
console_formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')

fh.setFormatter(file_formatter)
ch.setFormatter(console_formatter)
#
fh.setLevel(logging.INFO)
ch.setLevel(logging.INFO)

logger.debug("test log debug ....")
logger.info("test log info ....")
logger.warning("test log db backup warning ....")
logger.error("test log  errot .....")

View Code

posted @ 2019-04-29 22:26 Crazy丶迷恋阅读(183) 评论(0) 编辑收藏举报

会员力量，点亮园子希望

刷新页面返回顶部

Crazy丶迷恋

logging模块

1 logging模块简介

2 logging模块使用

函数式简单配置

logger对象配置

日志回滚

设置消息的等级

捕获traceback

filter组件

日志自动截断

公告

　　函数式简单配置