站点图标 AI技术聚合

100天精通Python（基础篇）——第32天：日志标准库logging【文末送书两本】

社会演员多
100天精通Python（基础篇）——第32天：日志标准库logging【文末送书两本】

每个前言

  • 🏆🏆作者介绍：Python领域优质创作者、华为云享专家、阿里云星级博主、2021年CSDN博客新星Top6
  • 🔥🔥本文已收录于Python全栈系列专栏：《100天精通Python从入门到就业》
  • 📝​📝​此专栏文章是专门针对Python零基础小白所准备的一套完整教学，从0到100的不断进阶深入的学习，各知识点环环相扣
  • 🎉🎉订阅专栏后续可以阅读Python从入门到就业100篇文章；还可私聊进两百人Python全栈交流群
    （手把手教学，问题解答）；进群可领取80GPython全栈教程视频 + 300本计算机书籍
    ：基础、Web、爬虫、数据分析、可视化、机器学习、深度学习、人工智能、算法、面试题等。
  • 🚀🚀和我一起学习进步，一个人可以走的快，一群人可以走的更远！


一、日志基础知识

1、日志是什么

日志（logging）是一种可追踪（track）某些软件运行时所发生事件的方法。软件开发人员 可在他们的代码中调用日志记录相关的方法来表明发生了某些事件。通过一个描述性的消息来描述这个事件，该消息能够可选地包含可变数据。而
事件有重要性的概念，重要性被称为严重性级别（Level）。

2、日志的作用

通过记录和分析日志可以了解一个系统 或软件程序运行情况是否正常，也可以在应用程序出现故障时快速定位问题。例如：开发者可通过在控制台上输出的各种日志进行程序调试；运维人员在接收到报警或各种问题反馈后，进行问题排查时通常都会先看各种日志，大部分问题都可在日志中找到答案。日志的作用可总结为3点：

3、日志的级别

日志级别很多，我们一般只用四个，日志级别从低到高DEBUG - INFO - WARN - ERROR；

4、日志的内容

一条日志消息对应一个事件的发生，一个事件通常需要包括以下内容：

上述都是一条日志记录中可能包含的字段信息。还可能包括一些其他信息，如进程ID、进程名称、线程ID、线程名称等。

日志格式用于定义日志记录中包含哪些字段，日志格式通常是可定制的。

PS：输出一条日志时，日志内容、日志级别是需要开发人员明确指定的。对于其他字段信息，只需要是否显示在日志中即可。

5、怎么使用日志

在Python中，提供了一个用于记录日志，功能强大、使用简单的标准库模块logging。

二、logging基础介绍

在部署项目时，不可能直接将所有的信息都输出到控制台中，我们可以将这些信息记录到日志文件中，这样不仅方便我们查看程序运行时的情况，logging模块提供了在项目出现故障时根据运行时产生的日志快速定位问题出现位置的功能。

import logging

1、logging库日志级别

问题思考：

根据需要选择不同的日志级别：

级别级别数值使用时机
DEBUG10 （级别最低）详细信息，常用于调试。
INFO20（重要）程序正常运行过程中产生的一些信息。
WARNING30 （警告）警告用户，虽然程序还在正常工作，但有可能发生错误。
ERROR40（错误）由于更严重的问题，程序已经不能执行一些功能了。
CRITICAL50 （严重）严重错误，程序已经不能继续运行。

默认情况是日志级别是warning，日志级别从上到下依次升高，即DEBUG < INFO < WARNING < ERROR < CRITICAL。而日志的信息量是依次减少的。

开发应用程序 或部署开发环境时：应该使用DEBUG 或INFO级别的日志获取尽可能详细的日志信息来进行开发或部署调试；

应用上线 或部署生产环境时：应该使用WARNING或CRITICAL级别的日志来降低机器的I/O压力和提高获取错误日志信息的效率

PS：当为某个应用程序指定一个日志级别后，应用程序会记录所有日志级别大于或等于指定日志级别的日志信息，而不是仅仅记录指定级别的日志信息，只要级别大于或等于该指定日志级别的日志记录才会被输出，小于该级别的日志记录将会被丢弃。

2、logging工作流程

Logger：日志，暴露函数给应用程序，基于日志记录器和过滤器级别决定哪些日志有效。

LogRecord：日志记录器，将日志传到相应的处理器处理。

Handler：处理器, 将(日志记录器产生的)日志记录发送至合适的目的地。

Filter：过滤器, 提供了更好的粒度控制,它可以决定输出哪些日志记录。

Formatter：格式化器, 指明了最终输出中日志记录的布局。

流程说明：

3、日志输出格式

日志的输出格​​式可以认为是一种设置，默认格式如下图所示：

4、基本使用

logging 使用非常简单，使用 basicConfig() 方法就能满足基本的使用需要，如果方法没有传入参数，会根据默认的配置创建Logger 对象，默认的日志级别被设置为 WARNING，默认的日志输出格式如上图，该函数可选的参数如下表所示。

参数名称参数描述
filename日志输出到文件的文件名
filemode文件模式，r[+]、w[+]、a[+]
format日志输出的格式
datefat日志附带日期时间的格式
style格式占位符，默认为 “%” 和 “{}”
level设置日志输出级别
stream定义输出流，用来初始化 StreamHandler 对象，不能 filename 参数一起使用，否则会ValueError 异常
handles定义处理器，用来创建 Handler 对象，不能和 filename 、stream 参数一起使用，否则也会抛出 ValueError 异常

5、代码实战

指定日志输出级别

输出日志到文件

import logging

# 使用baseconfig()来指定日志输出级别，日志信息写入test.log文件中
logging.basicConfig(filename="test.log", level=logging.DEBUG)  

logging.debug('This is debug log')  # 调试级别
logging.info('This is info log')  # 信息级别
logging.warning('This is warning log')  # 警告级别
logging.error('This is error log')  # 错误级别
logging.critical('This is critical log')  # 严重错误级别

生成文件test.log，文件内容如下：

注意：默认情况下，执行程序会添加一个新行！如果要每次执行程序，先清空文件，再将日志输出到文件中，只需要添加一个属性filemode="w"文件模式（先清空再写）

logging.basicConfig(filename="test.log",filemode="w",level=logging.DEBUG)

输出对象

import logging

logging.basicConfig(level=logging.DEBUG)
name = "张三"
age = "10"
logging.debug("姓名:%s, 年龄:%s", name, age)
logging.debug("姓名:%s, 年龄:%s" % (name, age))
logging.debug(("姓名 {}，年龄 {}".format(name, age)))
logging.debug((f"姓名 {name}，年龄 {age}"))

输出如下：

添加重要信息

import logging

# 使用baseconfig()来指定日志输出级别，日志信息写入test.log文件中
# asctime：日期，levelname：级别，message：报错信息，filename：文件名，lineno：报错行数；datefmt：格式化时间字符串；level：修改默认日志级别
logging.basicConfig(filename="test.log", filemode="w",
                    format="%(asctime)s %(name)s:%(levelname)s:%(message)s|%(filename)s:%(lineno)s",
                    datefmt="%Y-%M-%d %H:%M:%S", level=logging.DEBUG)

logging.debug('This is a debug message')
logging.debug('This is debug log')  # 调试级别
logging.info('This is info log')  # 信息级别
logging.warning('This is warning log')  # 警告级别
logging.error('This is error log')  # 错误级别
logging.critical('This is critical log')  # 严重错误级别

生成文件test.log，文件内容如下：

三、logging高级应用

logging模块采用了模块化设计，主要包含四种组件:

类名说明
Loggers记录器，提供应用程序代码能直接使用的接口。
Handlers处理器，将记录器产生的日志发送至目的地
Filters过滤器，提供更好的粒度控制，决定那些日志会被输出
Formatters格式化器，设置日志内容的组成结构和消息字段

logging模块的工作流程：

1、loggers记录器

2、Handlers处理器

它们将日志分发到不同的目的地：文件、标准输出、邮件、或者通过socke、http等协议发送到任何地方。

3、Formatters 格式

Formatter对象用来最终设置日志信息的顺序、结构和内容。

施工方法：ft = logging.Formatter.__init__(fmt=None,datefmt=None,style='%')

datefmt默认格式为：%Y-%m-%d %H:%M:%S；style参数默认为百分符%,这表示%(<dictionary key>)s格式的字符串

属性格式描述
asctime%(asctime)s日志产生时间，默认格式为 2021-11-23 10:20:30,123
created%(created)ftime.time()生成的日志创建时间戳
filename%(filename)s生成日志的程序名
funcName%(funcName)s调用日志的函数名
levelname%(levelname)s日志级别(DEGBU、INFO、WARNING、ERROR、CRITICAL)
levelno%(levelno)s日志级别对应的数值
lineno%(lineno)d日志所针对的代码行号（报错代码所在行数）
module%(module)s生成日志的模块名
msecs%(msecs)d日志生成时间的毫秒部分
message%(message)s具体的日志信息
name%(name)s日志调用者
pathname%(pathname)s生成日志的完整路径
processName%(processName)s进程名（如果可用）
thread%(thread)d生成日志的线程id（如果可用）
process%(process)d生成日志的进程id
threadName%(threadName)s线程名（如果可用）

4.进阶使用实践

1、记录器

2、处理器

完整代码：

import logging

# 记录器
logger = logging.getLogger("applog")  # 修改的显示名称
logger.setLevel(logging.DEBUG)  # 修改日志级别

# 处理器
consoleHandler = logging.StreamHandler()
consoleHandler.setLevel(logging.DEBUG)

# 写入文件，没有给handler指定日志级别，将使用logger的级别
fileHandler = logging.FileHandler(filename="test.log")
fileHandler.setLevel(logging.INFO)

# 给处理器设置formatter格式; 8s：表示s前面的占8位；-8s：左对齐
formatter = logging.Formatter("%(asctime)s %(name)s:%(levelname)8s:%(message)s|%(filename)s:%(lineno)s")

# 给处理器设置格式
consoleHandler.setFormatter(formatter)
fileHandler.setFormatter(formatter)

# 记录器要设置处理器
logger.addHandler(consoleHandler)
logger.addHandler(fileHandler)

# 打印日志的代码
logger.debug('This is debug log')  # 调试级别
logger.info('This is info log')  # 信息级别
logger.warning('This is warning log')  # 警告级别
logger.error('This is error log')  # 错误级别
logger.critical('This is critical log')  # 严重错误级别

输出结果：

3、过滤器

#定义过滤器；过滤开头名称为cn.cccb的文件
fit = logging.Filter("cn.cccb")
#关联过滤器
logger.addFilter(fit)

输出结果：

要正常显示，需要修改logger的自定义名称：

logger = logging.getLogger("cn.cccb.log")

输出如下：

当然我们在设置过滤器的时候，我们也可以指定给我们的某个handler处理器指定过滤器来过滤，我们修改代码完整如下：

import logging

# 记录器
logger = logging.getLogger("apploglog")  # 修改的显示名称
logger.setLevel(logging.DEBUG)  # 修改日志级别

# 处理器
consoleHandler = logging.StreamHandler()
consoleHandler.setLevel(logging.DEBUG)

# 写入文件，没有给handler指定日志级别，将使用logger的级别
fileHandler = logging.FileHandler(filename="test.log")
fileHandler.setLevel(logging.INFO)

# 给处理器设置formatter格式; 8s：表示s前面的占8位
formatter = logging.Formatter("%(asctime)s %(name)s:%(levelname)8s:%(message)s|%(filename)s:%(lineno)s")

# 给处理器设置格式
consoleHandler.setFormatter(formatter)
fileHandler.setFormatter(formatter)

# 记录器要设置处理器
logger.addHandler(consoleHandler)
logger.addHandler(fileHandler)

# 定义过滤器；过滤开头名称为cn.cccb的文件
fit = logging.Filter("cn.cccb")

# 关联过滤器
# logger.addFilter(fit)
fileHandler.addFilter(fit)

# 打印日志的代码
logger.debug('This is debug log')  # 调试级别
logger.info('This is info log')  # 信息级别
logger.warning('This is warning log')  # 警告级别
logger.error('This is error log')  # 错误级别
logger.critical('This is critical log')  # 严重错误级别

输出结果：


上面的一些方法，在我们日常使用的简单过程中，我们可以这样定义，但是如果我们在大型项目的过程中定义，那就不行了，不能修改一个日志如果是一个级别，我们都需要修改代码，对吧？

于是我们采用了和java中日志记录相关的方式，我们将这些配置记录在我们的配置文件中，这样就很方便我们去进行修改了。

4、配置文件定义

创建一个新文件logging.conf并添加以下内容（将代码复制到其中）：

[loggers]
keys=root,applog

[handlers]
keys=fileHandler,consoleHandler

[formatters]
keys=simpleFormatter

[logger_root]
level=DEBUG
handlers=consoleHandler

[logger_applog]
level=DEBUG
handlers=fileHandler,consoleHandler
qualname=applog
propagate=0


[handler_consoleHandler]
class=StreamHandler
args=(sys.stdout,)
level=DEBUG
formatter = simpleFormatter

[handler_fileHandler]
class=handlers.TimedRotatingFileHandler
args=("applog.log","midnight",1,0)
level=DEBUG
formatter = simpleFormatter

[formatter_simpleFormatter]
format=%(asctime)s|%(levelname)8s|%(name)s:%(lineno)s|%(message)s|%(processName)s
datafm=%Y-%m-%d %H:%M:%S

代码解读：

5、代码异常记录日志

import logging.config

# 使用配置文件的方式来处理日志
logging.config.fileConfig('logging.conf')

rootLogger = logging.getLogger()
rootLogger.debug("This is root Logger, debug")

# 记录器
logger = logging.getLogger("applog")  # 修改的显示名称
# 打印日志的代码
logger.debug('This is debug log，bug')  # 调试级别

# 设置报错将str转换成int

输出结果（这种情况下直接转换会报错，但不会打印在我们的日志文件中）：

使用try...catch捕捉异常处理可以进入日志文件：

a = "abc"
try:
    int(a)
except Exception as e:
    logger.exception(e)

输出结果：

我们发现不仅是在控制台上，在文件中也进行了具体的输出。此时我们全部讲完了logging标准库。

🎉 参与画迷送书

今后每周都会在新文评论区抽两名粉丝送书。大家继续关注本栏目：“每周免费送书活动”栏目

图书展示：“人工智能的数学基础”

【抽奖方式】：关注博主、点赞收藏文章后，评论区留言：人生苦短，我用Python！！！博主会用爬虫代码随机抽取两人送书！
【开奖时间】：截止到周日晚8点，博主会用爬虫代码随机抽取两人送书！

【本书内容介绍】

  • 本书的目的是解释基础知识。它面向数据科学和人工智能的读者。它以通俗易懂的方式解释了每一个知识点，旨在帮助读者快速打好数学基础。
  • 全书分为 4 篇，共 17 章。其中第 1 篇为数学知识基础篇，主要讲述了高等数学基础、微积分、泰勒公式与拉格朗日乘子法；第 2 篇为数学知识核心篇，主要讲述了线性代数基础、特征值与矩阵分解、概率论基础、随机变量与概率估计；第 3 篇为数学知识提高篇，主要讲述了数据科学的几种分布、核函数变换、熵与激活函数；第 4 篇为数学知识应用篇，主要讲述了回归分析、假设检验、相关分析、方差分析、聚类分析、贝叶斯分析等内容。

也有不想靠抽的朋友，可以参考以下：

文章出处登录后可见！

已经登录？立即刷新
退出移动版