耿雨飞的个人博客

[[ slide_text ]]

[[ item.c ]]

Python 日志模块 logging

发布时间：2023-03-22 作者：gengyufei 来源：gengyufei个人博客

Python

# 官方网站
logging --- Python 的日志记录工具 — Python 3.11.0 文档

https://docs.python.org/zh-cn/3/library/logging.html

# 日志级别
日志级别等级排序：critical > error > warning > info > debug

级别越高打印的日志越少，反之亦然，即

- debug : 打印全部的日志( notset 等同于 debug )

- info : 打印 info, warning, error, critical 级别的日志

- warning : 打印 warning, error, critical 级别的日志

- error : 打印 error, critical 级别的日志

- critical : 打印 critical 级别

# logging 模块记录日志方式
## logging 模块级别函数
### 简单打印日志
```
import logging

# 打印日志级别
def test_logging():
    logging.debug('Python debug')
    logging.info('Python info')
    logging.warning('Python warning')
    logging.error('Python Error')
    logging.critical('Python critical')

test_logging()
```
产出：
```
WARNING:root:Python warning
ERROR:root:Python Error
CRITICAL:root:Python critical
```
> 当指定一个日志级别之后，会记录大于或等于这个日志级别的日志信息，小于的将会被丢弃， 默认情况下，日志打印只显示大于等于 WARNING 级别的日志。

### 设置日志显示级别
通过 logging.basicConfig() 可以设置 root 的日志级别，和日志输出格式。

> 注意：Logging.basicConfig() 需要在开头就设置，在中间设置并无作用

```
import logging

# 打印日志级别
def test():
    logging.basicConfig(level=logging.DEBUG)
    logging.debug('Python debug')
    logging.info('Python info')
    logging.warning('Python warning')
    logging.error('Python Error')
    logging.critical('Python critical')
    logging.log(2,'test')
test()
```

输出：
```
DEBUG:root:Python debug
INFO:root:Python info
WARNING:root:Python warning
ERROR:root:Python Error
CRITICAL:root:Python critical
```

### 将日志信息记录到文件
```
# 日志信息记录到文件
logging.basicConfig(filename='F:/example.log', level=logging.DEBUG)
logging.debug('This message should go to the log file')
logging.info('So should this')
logging.warning('And this, too')
```

### 显示信息的日期及更改显示消息格式
```
import logging

log_filepath = "/home/work/tmp/logging_test.log"

# logging 配置
LOG_FORMAT = '%(asctime)s - %(levelname)s - %(pathname)s - %(funcName)s - %(lineno)d -msg: %(message)s'

logging.basicConfig(filename=log_filepath, level=logging.INFO, format=LOG_FORMAT)

book_id = 123
# 日志输出
logging.info('book_id:%s, 数据库查询时出错'%str(book_id))
logging.warning('book_id:%s, 数据库查询时出错'%str(book_id))
logging.error('book_id:%s, 数据库查询时出错'%str(book_id))
```

# logging 模块四大组件
## 日志器- Logger
Logger 持有日志记录器的方法，日志记录器不直接实例化，而是通过模块级函数 logger.getlogger (name) 来实例化,使用相同的名称多次调用 getLogger() 总是会返回对相同 Logger 对象的引用。

1.Logger最常用的操作有两类：配置和发送日志消息。
```
logger = logging.getLogger(logger_name)
```
**注意**：

- getLogger() 方法后面最好加上所要日志记录的模块名字，配置文件和打印日志格式中的 %(name)s 对应的是这里的模块名字，如果不指定name则返回root对象；

- 多次使用相同的name调用 getLogger 方法返回同一个 looger 对象。

2.创建Logger实例后，可以使用以下方法进行日志级别设置，增加处理器 Handler：
```
logger.setLevel(logging.ERROR) # 设置日志级别为 ERROR，即只有日志级别大于等于 ERROR 的日志才会输出
logger.addHandler(handler_name) # 为 Logger 实例增加一个处理器
logger.removeHandler(handler_name) # 为 Logger 实例删除一个处理器
```

## 处理器- Handler
Handler 处理器类型有很多种，比较常用的有三个，StreamHandler，FileHandler，NullHandler

### StreamHandler
```
sh = logging.StreamHandler(stream=None)    # 创建方法
```
创建 StreamHandler 之后，可以通过使用以下方法设置日志级别，设置格式化器 Formatter，增加或删除过滤器 Filter：
```
ch.setLevel(logging.WARN) # 指定日志级别，低于WARN级别的日志将被忽略

ch.setFormatter(formatter_name) # 设置一个格式化器formatter

ch.addFilter(filter_name) # 增加一个过滤器，可以增加多个
 
ch.removeFilter(filter_name) # 删除一个过滤器
```

### FileHandler
```
log_path = '/home/work/tmp/logging_filehandler_test.log'fh = logging.FileHandler(log_path, 'a')    # a 表示追加内容
```

## 过滤器- Filter
Handlers 和 Loggers 可以使用 Filters 来完成比级别更复杂的过滤。 Filter 基类只允许特定 Logger 层次以下的事件。 例如用 ‘A.B’ 初始化的 Filter 允许Logger ‘A.B’, ‘A.B.C’, ‘A.B.C.D’, ‘A.B.D’ 等记录的事件，logger‘A.BB’, ‘B.A.B’ 等就不行。 如果用空字符串来初始化，所有的事件都接受。
```
filter = logging.Filter(name='')
```

## 格式器- Formatter
使用Formatter对象设置日志信息最后的规则、结构和内容，默认的时间格式为%Y-%m-%d %H:%M:%S。
```
# fmt 是消息的格式化字符串，datefmt 是日期字符串。如果不指明 fmt，将使用 '%(message)s' 。如果不指明 datefmt，将使用 ISO8601 日期格式
formatter = logging.Formatter(fmt=None, datefmt=None)

#demo
formatter = logging.Formatter('%(asctime)s - %(filename)s[line:%(lineno)d] - %(levelname)s: %(message)s')
```

## 组件之间的关联关系
- 日志器（logger）需要通过处理器（handler）将日志信息输出到目标位置，不同的处理器（handler）可以将日志输出到不同的位置；

- 日志器（logger）可以设置多个处理器（handler）将同一条日志记录输出到不同的位置；

- 每个处理器（handler）都可以设置自己的过滤器（filter）实现日志过滤，从而只保留感兴趣的日志；

- 每个处理器（handler）都可以设置自己的格式器（formatter）实现同一条日志以不同的格式输出到不同的地方。

- 简明了说就是：日志器（logger）是入口，真正干活儿的是处理器（handler），处理器（handler）还可以通过过滤器（filter）和格式器（formatter）对要输出的日志内容做过滤和格式化等处理操作。

- Logger 可以包含一个或多个 Handler 和 Filter

- Logger 与 Handler 或 Fitler 是一对多的关系

- 一个 Logger 实例可以新增多 个 Handler，一个 Handler 可以新增多个格式化器或多个过滤器，而且日志级别将会继承。

# Logging 日志工作流程
## Logging 模块使用过程
1）第一次导入 logging 模块或使用 reload 函数重新导入 logging 模块，logging 模块中的代码将被执行，这个过程中将产生 logging 日志系统的默认配置。

2）自定义配置(可选),logging标准模块支持三种配置方式: dictConfig，fileConfig，listen。其中，

- dictConfig 是通过一个字典进行配置 Logger，Handler，Filter，Formatter；

- fileConfig 则是通过一个文件进行配置；

- listen 则监听一个网络端口，通过接收网络数据来进行配置。

- 当然，除了以上集体化配置外，也可以直接调用 Logger，Handler 等对象中的方法在代码中来显式配置。

3）使用 logging 模块的全局作用域中的 getLogger 函数来得到一个 Logger 对象实例(其参数即是一个字符串，表示 Logger 对象实例的名字，即通过该名字来得到相应的 Logger 对象实例)。

4）使用 Logger 对象中的 debug，info，error，warn，critical 等方法记录日志信息。

## Logging 模块处理流程
**流程描述**：

- 判断日志的等级是否大于 Logger 对象的等级，如果大于，则往下执行，否则，流程结束。

- 产生日志：第一步，判断是否有异常，如果有，则添加异常信息。 第二步，处理日志记录方法(如 debug，info 等)中的占位符，即一般的字符串格式化处理。

- 使用注册到 Logger 对象中的 Filters 进行过滤。如果有多个过滤器，则依次过滤；只要有一个过滤器返回假，则过滤结束，且该日志信息将丢弃，不再处理，而处理流程也至此结束。否则，处理流程往下执行。

- 在当前 Logger 对象中查找 Handlers，如果找不到任何 Handler，则往上到该 Logger 对象的父 Logger 中查找；如果找到一个或多个 Handler，则依次用 Handler 来处理日志信息。但在每个 Handler 处理日志信息过程中，会首先判断日志信息的等级是否大于该 Handler 的等级，如果大于，则往下执行(由 Logger 对象进入 Handler 对象中)，否则，处理流程结束。

- 执行 Handler 对象中的 filter 方法，该方法会依次执行注册到该 Handler 对象中的 Filter。如果有一个 Filter 判断该日志信息为假，则此后的所有 Filter 都不再执行，而直接将该日志信息丢弃，处理流程结束。

- 使用 Formatter 类格式化最终的输出结果。 注：Formatter 同上述第 2 步的字符串格式化不同，它会添加额外的信息，比如日志产生的时间，产生日志的源代码所在的源文件的路径等等。

- 真正地输出日志信息(到网络，文件，终端，邮件等)。至于输出到哪个目的地，由 Handler 的种类来决定。

# 实例
## 简单脚本常用实例
```
import os
import time
import json
import logging

from flask import Flask, request

script_path = os.path.dirname(os.path.realpath(__file__))

logger = logging.getLogger('test_logger')
logger.setLevel(logging.DEBUG)
file_handler = logging.FileHandler(script_path + '/./logs/notice.log', 'a', encoding='utf-8')
file_handler.setLevel(logging.DEBUG)
formatter = logging.Formatter('%(asctime)s - %(levelname)s - %(pathname)s - %(funcName)s - %(lineno)d -msg: %(message)s')
file_handler.setFormatter(formatter)
logger.addHandler(file_handler)

logger.info("log record into file test.")
```

## config_logging.py 配置器
```
import logging
# create logger
logger = logging.getLogger('simple_example')
logger.setLevel(logging.DEBUG)

# create console handler and set level to debug
ch = logging.StreamHandler()
ch.setLevel(logging.DEBUG)

# create formatter
formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')

# add formatter to ch
ch.setFormatter(formatter)

# add ch to logger
logger.addHandler(ch)

# 'application' code
logger.debug('debug message')
logger.info('info message')
logger.warning('warn message')
logger.error('error message')
logger.critical('critical message')
```

上一篇：Python 多进程、多线程、协程下一篇：Algorithms 二分查找

你觉得文章怎么样