每个前言

• 🏆🏆作者介绍：Python领域优质创作者、华为云享专家、阿里云星级博主、2021年CSDN博客新星Top6
  
• 🔥🔥本文已收录于Python全栈系列专栏：《100天精通Python从入门到就业》
  
• 📝​📝​此专栏文章是专门针对Python零基础小白所准备的一套完整教学，从0到100的不断进阶深入的学习，各知识点环环相扣
  
• 🎉🎉订阅专栏后续可以阅读Python从入门到就业100篇文章；还可私聊进两百人Python全栈交流群
  （手把手教学，问题解答）；进群可领取80GPython全栈教程视频 + 300本计算机书籍
  ：基础、Web、爬虫、数据分析、可视化、机器学习、深度学习、人工智能、算法、面试题等。
  
• 🚀🚀和我一起学习进步，一个人可以走的快，一群人可以走的更远！
  

---

一、日志基础知识

1、日志是什么

日志（logging）是一种可追踪（track）某些软件运行时所发生事件的方法。软件开发人员 可在他们的代码中调用日志记录相关的方法来表明发生了某些事件。通过一个描述性的消息来描述这个事件，该消息能够可选地包含可变数据。而
事件有重要性的概念，重要性被称为严重性级别（Level）。

2、日志的作用

通过记录和分析日志可以了解一个系统 或软件程序运行情况是否正常，也可以在应用程序出现故障时快速定位问题。例如：开发者可通过在控制台上输出的各种日志进行程序调试；运维人员在接收到报警或各种问题反馈后，进行问题排查时通常都会先看各种日志，大部分问题都可在日志中找到答案。日志的作用可总结为3点：

• 1、程序调试
  
• 2、了解软件程序运行情况，是否正常
  
• 3、软件程序运行故障分析与问题定位
  

3、日志的级别

日志级别很多，我们一般只用四个，日志级别从低到高DEBUG - INFO - WARN - ERROR；

• DEBUG（调试）：开发调试日志。一般来说，在系统实际运行过程中，不会输出该级别的日志。因此，开发人员可以打印任何自己觉得有利于了解系统运行状态的东东。不过很多场景下，过多的DEBUG日志，并不是好事，建议是按照业务逻辑的走向打印。打个比方，打印日志就像读书时划重点，如果导出都是重点，也就失去了重点。
  
• INFO（通知）：INFO日志级别主要用于记录系统运行状态等关联信息。该日志级别，常用于反馈系统当前状态给最终用户。所以，在这里输出的信息，应该对最终用户具有实际意义，也就是最终用户要能够看得明白是什么意思才行。
  
• WARN（警告）：WARN日志常用来表示系统模块发生问题，但并不影响系统运行。 此时，进行一些修复性的工作，还能把系统恢复到正常的状态。
  
• ERROR（错误）：此信息输出后，主体系统核心模块正常工作，需要修复才能正常工作。 就是说可以进行一些修复性的工作，但无法确定系统会正常的工作下去，系统在以后的某个阶段，很可能会因为当前的这个问题，导致一个无法修复的错误（例如宕机），但也可能一直工作到停止也不出现严重问题。
  

4、日志的内容

一条日志消息对应一个事件的发生，一个事件通常需要包括以下内容：

• 1、发生时间
  
• 2、发生位置
  
• 3、严重程度，即 日志级别
  
• 4、内容
  

上述都是一条日志记录中可能包含的字段信息。还可能包括一些其他信息，如进程ID、进程名称、线程ID、线程名称等。

日志格式用于定义日志记录中包含哪些字段，日志格式通常是可定制的。

PS：输出一条日志时，日志内容、日志级别是需要开发人员明确指定的。对于其他字段信息，只需要是否显示在日志中即可。

5、怎么使用日志

在Python中，提供了一个用于记录日志，功能强大、使用简单的标准库模块logging。

二、logging基础介绍

在部署项目时，不可能直接将所有的信息都输出到控制台中，我们可以将这些信息记录到日志文件中，这样不仅方便我们查看程序运行时的情况，logging模块提供了在项目出现故障时根据运行时产生的日志快速定位问题出现位置的功能。

import logging

1、logging库日志级别

问题思考：

• 开发者在开发应用时需要哪些日志信息？程序正式上线后需要哪些日志信息？
  
• 运维人员在部署开发环境时需要哪些日志信息？部署到生产环境时需要哪些日志信息？
  

根据需要选择不同的日志级别：

默认情况是日志级别是warning，日志级别从上到下依次升高，即DEBUG < INFO < WARNING < ERROR < CRITICAL。而日志的信息量是依次减少的。

开发应用程序 或部署开发环境时：应该使用DEBUG 或INFO级别的日志获取尽可能详细的日志信息来进行开发或部署调试；

应用上线 或部署生产环境时：应该使用WARNING或CRITICAL级别的日志来降低机器的I/O压力和提高获取错误日志信息的效率

PS：当为某个应用程序指定一个日志级别后，应用程序会记录所有日志级别大于或等于指定日志级别的日志信息，而不是仅仅记录指定级别的日志信息，只要级别大于或等于该指定日志级别的日志记录才会被输出，小于该级别的日志记录将会被丢弃。

2、logging工作流程

Logger：日志，暴露函数给应用程序，基于日志记录器和过滤器级别决定哪些日志有效。

LogRecord：日志记录器，将日志传到相应的处理器处理。

Handler：处理器, 将(日志记录器产生的)日志记录发送至合适的目的地。

Filter：过滤器, 提供了更好的粒度控制,它可以决定输出哪些日志记录。

Formatter：格式化器, 指明了最终输出中日志记录的布局。

流程说明：

• 1、判断日志的等级是否大于 Logger 对象的等级，如果大于，则往下执行，否则，流程结束。
  
• 2、产生日志：第一步，判断是否有异常，如果有，则添加异常信息。 第二步，处理日志记录方法(如 debug，info 等)中的占位符，即一般的字符串格式化处理。
  
• 3、使用注册到 Logger 对象中的 Filters 进行过滤。如果有多个过滤器，则依次过滤；只要有一个过滤器返回假，则过滤结束，且该日志信息将丢弃，不再处理，而处理流程也至此结束。否则，处理流程往下执行。
  
• 4、在当前 Logger 对象中查找 Handlers，如果找不到任何 Handler，则往上到该 Logger 对象的父 Logger 中查找；如果找到一个或多个 Handler，则依次用 Handler 来处理日志信息。但在每个 Handler 处理日志信息过程中，会首先判断日志信息的等级是否大于该 Handler 的等级，如果大于，则往下执行(由 Logger 对象进入 Handler 对象中)，否则，处理流程结束。
  
• 5、执行 Handler 对象中的 filter 方法，该方法会依次执行注册到该 Handler 对象中的 Filter。如果有一个 Filter 判断该日志信息为假，则此后的所有 Filter 都不再执行，而直接将该日志信息丢弃，处理流程结束。
  
• 6、使用 Formatter 类格式化最终的输出结果。 注：Formatter 同上述第 2 步的字符串格式化不同，它会添加额外的信息，比如日志产生的时间，产生日志的源代码所在的源文件的路径等等。
  
• 7、真正地输出日志信息(到网络，文件，终端，邮件等)。至于输出到哪个目的地，由 Handler 的种类来决定。
  

3、日志输出格式

日志的输出格​​式可以认为是一种设置，默认格式如下图所示：

4、基本使用

logging 使用非常简单，使用 basicConfig() 方法就能满足基本的使用需要，如果方法没有传入参数，会根据默认的配置创建Logger 对象，默认的日志级别被设置为 WARNING，默认的日志输出格式如上图，该函数可选的参数如下表所示。

5、代码实战

指定日志输出级别

• 默认日志级别输出import logging# 默认的日志输出级别为warninglogging.debug(‘This is debug log’) # 调试级别logging.info(‘This is info log’) # 信息级别logging.warning(‘This is warning log’) # 警告级别logging.error(‘This is error log’) # 错误级别logging.critical(‘This is critical log’) # 严重错误级别
  输出如下：
  
  
• 使用 baseconfig() 来指定日志输出级别:import logging# 使用baseconfig()来指定日志输出级别logging.basicConfig(level=logging.DEBUG)logging.debug(‘This is debug log’) # 调试级别logging.info(‘This is info log’) # 信息级别logging.warning(‘This is warning log’) # 警告级别logging.error(‘This is error log’) # 错误级别logging.critical(‘This is critical log’) # 严重错误级别
  输出如下：
  
  

输出日志到文件

import logging

# 使用baseconfig()来指定日志输出级别，日志信息写入test.log文件中
logging.basicConfig(filename="test.log", level=logging.DEBUG)  

logging.debug('This is debug log')  # 调试级别
logging.info('This is info log')  # 信息级别
logging.warning('This is warning log')  # 警告级别
logging.error('This is error log')  # 错误级别
logging.critical('This is critical log')  # 严重错误级别

生成文件test.log，文件内容如下：

注意：默认情况下，执行程序会添加一个新行！如果要每次执行程序，先清空文件，再将日志输出到文件中，只需要添加一个属性filemode="w"文件模式（先清空再写）

logging.basicConfig(filename="test.log",filemode="w",level=logging.DEBUG)

输出对象

import logging

logging.basicConfig(level=logging.DEBUG)
name = "张三"
age = "10"
logging.debug("姓名:%s, 年龄:%s", name, age)
logging.debug("姓名:%s, 年龄:%s" % (name, age))
logging.debug(("姓名 {}，年龄 {}".format(name, age)))
logging.debug((f"姓名 {name}，年龄 {age}"))

输出如下：

添加重要信息

• asctime：当前时间
  
• levelname：输出日志级别
  
• filename：文件名称
  
• lineno：报错文件行号
  
• message：输出信息
  

import logging

# 使用baseconfig()来指定日志输出级别，日志信息写入test.log文件中
# asctime：日期，levelname：级别，message：报错信息，filename：文件名，lineno：报错行数；datefmt：格式化时间字符串；level：修改默认日志级别
logging.basicConfig(filename="test.log", filemode="w",
                    format="%(asctime)s %(name)s:%(levelname)s:%(message)s|%(filename)s:%(lineno)s",
                    datefmt="%Y-%M-%d %H:%M:%S", level=logging.DEBUG)

logging.debug('This is a debug message')
logging.debug('This is debug log')  # 调试级别
logging.info('This is info log')  # 信息级别
logging.warning('This is warning log')  # 警告级别
logging.error('This is error log')  # 错误级别
logging.critical('This is critical log')  # 严重错误级别

生成文件test.log，文件内容如下：

三、logging高级应用

logging模块采用了模块化设计，主要包含四种组件:

logging模块的工作流程：

1、loggers记录器

• 1、提供应用程序的调用接口（logger是单例的） logger = logging.getLogger(__name__)
  
• 2、决定日志记录的级别 logger.setLevel()
  
• 3、将日志内容传递相关联的handlers中logger.addHandler()和logger.removeHandler()
  

2、Handlers处理器

它们将日志分发到不同的目的地：文件、标准输出、邮件、或者通过socke、http等协议发送到任何地方。

• SreamHandler：标准输出stdout（如显示器）分发器。
  创建方法： sh = logging.StreamHandler(stream=None)
  
• FileHandle：将日志保存到磁盘文件的处理器
  创建方法:fh=logging.FileHandler(filename,mode=“a”,encoding=Node,delay=False)
  setFormatter()：设置当前handler对象使用的消息格式。
  

3、Formatters 格式

Formatter对象用来最终设置日志信息的顺序、结构和内容。

施工方法：ft = logging.Formatter.__init__(fmt=None,datefmt=None,style='%')

datefmt默认格式为：%Y-%m-%d %H:%M:%S；style参数默认为百分符%,这表示%(<dictionary key>)s格式的字符串

4.进阶使用实践

1、记录器

• 默认情况： import logginglogger = logging.getLogger()print(logger)print(type(logger))
  输出如下：
  
  
• 修改为指定级别import logginglogger = logging.getLogger(“applog”) # 修改的显示名称logger.setLevel(logging.DEBUG) # 修改日志级别print(logger)print(type(logger))
  输出如下：
  
  

2、处理器

• 普通处理器定义 consoleHandler = logging.StreamHandler()consoleHandler.setLevel(logging.DEBUG)
  
• 写入文件处理器定义# 写入文件，没有给handler指定日志级别，将使用logger的级别fileHandler = logging.FileHandler(filename=”test.log”)fileHandler.setLevel(logging.INFO)
  
• 设置formatter格式# 给处理器设置formatter格式formatter = logging.Formatter(“%(asctime)s %(name)s:%(levelname)s:%(message)s|%(filename)s:%(lineno)s”)
  
• 处理器设置格式# 给处理器设置格式consoleHandler.setFormatter(formatter)fileHandler.setFormatter(formatter)
  
• 记录器要设置处理器 logger.addHandler(consoleHandler)logger.addHandler(fileHandler)
  

完整代码：

import logging

# 记录器
logger = logging.getLogger("applog")  # 修改的显示名称
logger.setLevel(logging.DEBUG)  # 修改日志级别

# 处理器
consoleHandler = logging.StreamHandler()
consoleHandler.setLevel(logging.DEBUG)

# 写入文件，没有给handler指定日志级别，将使用logger的级别
fileHandler = logging.FileHandler(filename="test.log")
fileHandler.setLevel(logging.INFO)

# 给处理器设置formatter格式; 8s：表示s前面的占8位；-8s：左对齐
formatter = logging.Formatter("%(asctime)s %(name)s:%(levelname)8s:%(message)s|%(filename)s:%(lineno)s")

# 给处理器设置格式
consoleHandler.setFormatter(formatter)
fileHandler.setFormatter(formatter)

# 记录器要设置处理器
logger.addHandler(consoleHandler)
logger.addHandler(fileHandler)

# 打印日志的代码
logger.debug('This is debug log')  # 调试级别
logger.info('This is info log')  # 信息级别
logger.warning('This is warning log')  # 警告级别
logger.error('This is error log')  # 错误级别
logger.critical('This is critical log')  # 严重错误级别

输出结果：

• 安慰
  
  
• test.log文件中
  
  

3、过滤器

#定义过滤器；过滤开头名称为cn.cccb的文件
fit = logging.Filter("cn.cccb")
#关联过滤器
logger.addFilter(fit)

输出结果：

• 控制台无数据
  
  
• test.log文件中无数据
  
  

要正常显示，需要修改logger的自定义名称：

logger = logging.getLogger("cn.cccb.log")

输出如下：

• 安慰
  
  
• test.log文件
  
  

当然我们在设置过滤器的时候，我们也可以指定给我们的某个handler处理器指定过滤器来过滤，我们修改代码完整如下：

import logging

# 记录器
logger = logging.getLogger("apploglog")  # 修改的显示名称
logger.setLevel(logging.DEBUG)  # 修改日志级别

# 处理器
consoleHandler = logging.StreamHandler()
consoleHandler.setLevel(logging.DEBUG)

# 写入文件，没有给handler指定日志级别，将使用logger的级别
fileHandler = logging.FileHandler(filename="test.log")
fileHandler.setLevel(logging.INFO)

# 给处理器设置formatter格式; 8s：表示s前面的占8位
formatter = logging.Formatter("%(asctime)s %(name)s:%(levelname)8s:%(message)s|%(filename)s:%(lineno)s")

# 给处理器设置格式
consoleHandler.setFormatter(formatter)
fileHandler.setFormatter(formatter)

# 记录器要设置处理器
logger.addHandler(consoleHandler)
logger.addHandler(fileHandler)

# 定义过滤器；过滤开头名称为cn.cccb的文件
fit = logging.Filter("cn.cccb")

# 关联过滤器
# logger.addFilter(fit)
fileHandler.addFilter(fit)

# 打印日志的代码
logger.debug('This is debug log')  # 调试级别
logger.info('This is info log')  # 信息级别
logger.warning('This is warning log')  # 警告级别
logger.error('This is error log')  # 错误级别
logger.critical('This is critical log')  # 严重错误级别

输出结果：


上面的一些方法，在我们日常使用的简单过程中，我们可以这样定义，但是如果我们在大型项目的过程中定义，那就不行了，不能修改一个日志如果是一个级别，我们都需要修改代码，对吧？

于是我们采用了和java中日志记录相关的方式，我们将这些配置记录在我们的配置文件中，这样就很方便我们去进行修改了。

4、配置文件定义

创建一个新文件logging.conf并添加以下内容（将代码复制到其中）：

[loggers]
keys=root,applog

[handlers]
keys=fileHandler,consoleHandler

[formatters]
keys=simpleFormatter

[logger_root]
level=DEBUG
handlers=consoleHandler

[logger_applog]
level=DEBUG
handlers=fileHandler,consoleHandler
qualname=applog
propagate=0


[handler_consoleHandler]
class=StreamHandler
args=(sys.stdout,)
level=DEBUG
formatter = simpleFormatter

[handler_fileHandler]
class=handlers.TimedRotatingFileHandler
args=("applog.log","midnight",1,0)
level=DEBUG
formatter = simpleFormatter

[formatter_simpleFormatter]
format=%(asctime)s|%(levelname)8s|%(name)s:%(lineno)s|%(message)s|%(processName)s
datafm=%Y-%m-%d %H:%M:%S

代码解读：

• [loggers]、[handlers]、[formatters]：定义记录器器、处理器和格式化
  
• [logger_root]：为root的日志记录器进行属性设置
  
• [logger_applog]：为applog的日志记录器进行属性设置； handlers ：绑定的处理器对象； qualname=applog ：表示代码读取配置文件的时候，必须使用getLogger(”applog“)的方式才能获取到这个对象
  
• [handler_consoleHandler]： class=StreamHandler 表示定义的 StreaHandler 对象； args=(sys.stdout,) ：标准输出流（会输出到控制台）
  
• [handler_fileHandler]： class=handlers.TimedRotatingFileHandler ：大型成产模式中最常用，以时间滚动来生成文件； args=(“applog.log”,”midnight”,1,0) ：规定文件名称，每天凌晨12点后备份一份数据，1代表的是1秒钟之后开始备份，0表示备份几份
  
• [formatter_simpleFormatter]： format ：输出内容格式； datafm ：输出时间格式
  

5、代码异常记录日志

import logging.config

# 使用配置文件的方式来处理日志
logging.config.fileConfig('logging.conf')

rootLogger = logging.getLogger()
rootLogger.debug("This is root Logger, debug")

# 记录器
logger = logging.getLogger("applog")  # 修改的显示名称
# 打印日志的代码
logger.debug('This is debug log，bug')  # 调试级别

# 设置报错将str转换成int

输出结果（这种情况下直接转换会报错，但不会打印在我们的日志文件中）：

使用try...catch捕捉异常处理可以进入日志文件：

a = "abc"
try:
    int(a)
except Exception as e:
    logger.exception(e)

输出结果：

我们发现不仅是在控制台上，在文件中也进行了具体的输出。此时我们全部讲完了logging标准库。

🎉 参与画迷送书

今后每周都会在新文评论区抽两名粉丝送书。大家继续关注本栏目：“每周免费送书活动”栏目

【本书内容介绍】

• 本书的目的是解释基础知识。它面向数据科学和人工智能的读者。它以通俗易懂的方式解释了每一个知识点，旨在帮助读者快速打好数学基础。
  
• 全书分为 4 篇，共 17 章。其中第 1 篇为数学知识基础篇，主要讲述了高等数学基础、微积分、泰勒公式与拉格朗日乘子法；第 2 篇为数学知识核心篇，主要讲述了线性代数基础、特征值与矩阵分解、概率论基础、随机变量与概率估计；第 3 篇为数学知识提高篇，主要讲述了数据科学的几种分布、核函数变换、熵与激活函数；第 4 篇为数学知识应用篇，主要讲述了回归分析、假设检验、相关分析、方差分析、聚类分析、贝叶斯分析等内容。
  

也有不想靠抽的朋友，可以参考以下：

• 京东自营：https://item.jd.com/13009168.html
  
• 当当自营：http://product.dangdang.com/29145839.html