多个python文件调用logging模块报错误

 更新时间:2020-02-12 22:00:25   作者:佚名   我要评论(0)

python logging模块主要是python提供的通用日志系统,使用的方法其实挺简单的,这块就不多介绍。下面主要会讲到在使用python logging模块的时候,涉及到多个pytho

python logging模块主要是python提供的通用日志系统,使用的方法其实挺简单的,这块就不多介绍。下面主要会讲到在使用python logging模块的时候,涉及到多个python文件的调用,而每个文件设置了对应的logging方式不同,可能会产生的令人困惑的现象。

下面以自己在开发的时候遇到的问题作为叙述的背景:

有三个python模块A、B、C。主模块A会import B和C模块,主模块有对应的logging方式,

A使用logging的模块的方式为:

import logging
import logging.handlers
def CreateLogger(logFile = 'batch'):
  handler = logging.handlers.RotatingFileHandler(str(logFile) + '.LOG', maxBytes = 1024 * 1024 * 500, backupCount = 5)
  fmt = '%(asctime)s - %(filename)s:%(lineno)s - %(name)s - %(message)s'
  formatter = logging.Formatter(fmt)
  handler.setFormatter(formatter)
  logger = logging.getLogger(str(logFile))
  logger.addHandler(handler)
  logger.setLevel(logging.INFO)
  return logger
sLogger = CreateLogger()

其实A模块使用logging的方式很简单,创建一个RotatingFileHandler,通过RotatingFileHandler回滚logging的方式来控制LOG文件的个数和每个LOG文件的上限大小。并创建一个Formatter对象来设置LOG文件的格式。在程序中使用这种方式产生的logging对象来打LOG,很显然使用这种方式的话,LOG都会打印到对应的LOG文件中去。

B使用logging模块的方式为

def GetLogger(testName):
  logger = logging.getLogger(testName)
  logger.setLevel(logging.INFO)
  hdlr = logging.FileHandler(testName + '.LOG')
  hdlr.setLevel(logging.INFO)
  formatter = logging.Formatter("[%(asctime)s]\t[%(levelname)s]\t[%(thread)d]\t[%(pathname)s:%(lineno)d]\t%(message)s")
  hdlr.setFormatter(formatter)
  logger.addHandler(hdlr)
  return logger
logger = GetLogger('OK')
 
def SetLogger(log):
  global logger
  logger = log

B模块默认logging的方式跟A差不多,只是B选择logging的方式是往一个LOG文件中打LOG。A其实在实际使用B模块对应的函数和类的时候并没有直接用B的logging方式,而是对B logging进行了一个重定向,这个可以从SetLogger函数的作用可以函数。A直接会把已经logging对象传给B,这样B也可以和A共享同一个logging对象,并把LOG打到A设定的文件中。这对于一个主模块调用多个子模块的逻辑、而且每个子模块都有对应的logging使用方式、打到不同文件中进行统一还是挺有好处的,这样可以有效的控制总的LOG文件大小和数量。

但是没有注意C模块,然后发现的情况是,A程序在运行过程中会把A、B模块的LOG信息直接打到屏幕上,而且LOG文件中也有对应的LOG。这些挺让人困惑的,把对B模块的调用注释掉,依然会发现有A的LOG直接打到屏幕上。但是把A程序中设置logging对象的那段代码单独拿出来,一切都正常。

根据当时的情景,只能怀疑是C模块中有什么设置,会导致A、B模块打LOG的方式有些转变。后来意识到,C模块中并没有设置logging的对象,而是直接使用logging.info去打LOG。把这部分的逻辑注释掉,发现A、B打LOG的方式又恢复正常,再也不会往屏幕上打LOG。

通过参阅python logging模块的代码,发现一些有趣的现象:

1. logging对象其实是一个树形结构,每个创建的logging对象都是root logging对象的孩子结点。当使用logging模块的getLogger(name=None)函数构造logging对象的时候,如果name为None,这样会产生一个root logging对象。如果name中含有.,比如name = 'a.b.c',通过这种方式会产生3个logging对象,分别为c、b、a,c->b->a->root,root树的根结点,a为root的孩子结点,b为a的孩子结点,c为a的孩子结点,依次类推。

2. root结点是全局的,虽然这过程中涉及到多个模块,但是它们会共享一个root结点。

3. 每个logging对象打LOG的时候,也会把LOG信息传递到传递到上层logging对象中,对于c->b->a->root这种情况,这个LOG其实会打4次,以c、b、a、root循序依次打一个LOG。

可能有人会问,像我之前一般用A模块或者B模块那样的方式去初始化一个logging对象,这样初始化的对象也会是root logging对象的一个孩子,而root logging对象通常会把LOG打到屏幕上,那按理说,正常情况下打LOG都会打两份,一份会打到文件中,一份会打到屏幕中。那为什么实际情况是,只有LOG文件中有对应的LOG,但是屏幕中并没有对象的显示呢?

其实,如果对这个过程有些好奇,对直接很习以为常的方式有些怀疑,而且抱着这样的好奇心去探索,相信肯定会有更多的收获。

所以,比较困惑的是,为什么我调用A模块产生的sLogger.info打出的LOG,只有LOG文件中有,而root logging为什么不打LOG打到屏幕上。为什么root logging不起作用。这个时候,可以看下logging __init__.py的代码,会发现,root logging info的代码如下:

def info(msg, *args, **kwargs):
  """
  Log a message with severity 'INFO' on the root logger.
  """
  if len(root.handlers) == 0:
    basicConfig()
  root.info(msg, *args, **kwargs)

 上面的代码中涉及到root.handlers,怀疑root.handlers跟打LOG的方式有关。因此,print len(root.handlers),发现结果为0。也就是说,默认的root logging对应的handlers为[],这样导致的结果是sLogger打LOG的时候,root logging并不会打任何LOG。在__main__中添加如下代码:

if __name__ == '__main__':
 
  sLogger.info('OK')
 
  print len(logging.root.handlers), logging.root.handlers
 
  logging.info('Bad')
 
  print len(logging.root.handlers), logging.root.handlers

运行程序,得到如下运行结果:

0 []

1 [<logging.StreamHandler instance at 0x7f066e3eef80>]。


第一行结果为0 []很好的解释了,为什么正常情况下,root logging对象为什么没有打出LOG。

而调用logging.info('Bad')之后,root.handlers对象为StreamHandler对象。通过这个程序可以看到调用logging.info对象前后root logging对象发生的变化。

还有一点需要验证,就是logging调用前后正常模块logging的方式。

在__main__中写下如下代码:

if __name__ == '__main__':
 
  for i in xrange(0, 2):
 
    sLogger.info('OK')
 
    logging.info('Bad')

根据之前分析的,第一次调用sLogger.info('OK')是不会打LOG的,而logging.info本身是由于不到WARNING级别,所以也没有打LOG,而第二次会打LOG在屏幕中。所以,看到的结果是,LOG文件中有三条LOG,而屏幕上有一条INFO:batch:OK。跟之前猜想到的挺吻合的。

 为什么调用了logging.info之后,会发生如此转变?

继续看完上面root logging info,并对照着下面的basicConfig代码。会注意到len(root.handlers) == 0会去调用basicConfig,这个时候就可以注意下,basicConfig这个模块的实现。

def basicConfig(**kwargs): 
 
  if len(root.handlers) == 0:
 
    filename = kwargs.get("filename")
 
    if filename:
 
      mode = kwargs.get("filemode", 'a')
 
      hdlr = FileHandler(filename, mode)
 
    else:
 
      stream = kwargs.get("stream")
 
      hdlr = StreamHandler(stream)
 
    fs = kwargs.get("format", BASIC_FORMAT)
 
    dfs = kwargs.get("datefmt", None)
 
    fmt = Formatter(fs, dfs)
 
    hdlr.setFormatter(fmt)
 
    root.addHandler(hdlr)
 
    level = kwargs.get("level")
 
    if level is not None:
 
      root.setLevel(level)

可以看出,当root.handlers的长度为0的时候,会创建一个默认的StreamHandler对象,而这个对象设置的模式导致的情况是LOG会打到屏幕上。这个跟之前打出的logging.root.handlers的结果挺吻合。通过这些想必明白了,为什么我之前遇到的C文件中调用logging.info的方式会影响到上层模块以及其调用的子模块。

通过我遇到的问题,以及对logging的这相关部分的分析,想必会对logging模块有更深刻的认识。最关键的一点,如果想尽可能精确的控制logging方式,一定要注意,主模块以及对应的子模块中具体不要直接使用logging打LOG。

更多关于多个python文件调用logging模块产生错误的问题请查看下面的相关链接

您可能感兴趣的文章:

  • python标准日志模块logging的使用方法
  • Python中内置的日志模块logging用法详解
  • Python中使用logging模块打印log日志详解
  • Python中使用logging模块代替print(logging简明指南)
  • Python同时向控制台和文件输出日志logging的方法
  • python改变日志(logging)存放位置的示例
  • python中使用sys模板和logging模块获取行号和函数名的方法
  • python中 logging的使用详解
  • Python使用logging模块实现打印log到指定文件的方法
  • python 通过logging写入日志到文件和控制台的实例
  • 详解Python中的日志模块logging
  • python logging类库使用例子
  • 详解Python logging调用Logger.info方法的处理过程
  • 解决Python中由于logging模块误用导致的内存泄露
  • 说一说Python logging
  • python logging 日志轮转文件不删除问题的解决方法
  • Python中logging模块的用法实例
  • Python logging模块学习笔记

相关文章

  • 多个python文件调用logging模块报错误

    多个python文件调用logging模块报错误

    python logging模块主要是python提供的通用日志系统,使用的方法其实挺简单的,这块就不多介绍。下面主要会讲到在使用python logging模块的时候,涉及到多个pytho
    2020-02-12
  • C++ 遍历某个文件夹下所有文件的方法步骤

    C++ 遍历某个文件夹下所有文件的方法步骤

    本文主要介绍了C++ 遍历某个文件夹下所有文件的方法步骤,分享给大家,主要给自己留个笔记。。 #include<iostream> #include<string> #include<io.h> #include<cs
    2020-02-12
  • TPS(吞吐量)、QPS(每秒查询率)、并发数、RT(响应时间)是什么意思

    TPS(吞吐量)、QPS(每秒查询率)、并发数、RT(响应时间)是什么意思

    1. 响应时间(RT)&#160; 响应时间是指系统对请求作出响应的时间。直观上看,这个指标与人对软件性能的主观感受是非常一致的,因为它完整地记录了整个计算机系统处理
    2020-02-12
  • 解决MongoDB占用内存过大频繁死机的方法详解

    解决MongoDB占用内存过大频繁死机的方法详解

    从MongoDB 3.4开始,默认的WiredTiger内部缓存大小是以下两者中的较大者: 50%(RAM-1 GB),或 256 MB 例如,在总共有4GB RAM的系统上,WiredTiger缓存将使用1.
    2020-02-12
  • pyecharts绘制中国2020肺炎疫情地图的实例代码

    pyecharts绘制中国2020肺炎疫情地图的实例代码

    近来武汉肺炎肆虐全国,大多人的日常应该是宅在家里。出于好奇,笔者想用Python来绘制中国2020肺炎疫情地图。 本代码采用Python3,需要安装模块:pyecharts和ech
    2020-02-12
  • Python写出新冠状病毒确诊人数地图的方法

    Python写出新冠状病毒确诊人数地图的方法

    最近肺炎的发展速度属实有点恐怖。刚知道python的pyecharts这个库,想到pyecharts可视化的特点,正好可以扒一下肺炎实时播报的官网也做个地图。 第一步扒取数据:发
    2020-02-12
  • 基于c++11的event-driven library的理解

    基于c++11的event-driven library的理解

    做了一个不到200行的事件驱动库,基于c++11标准,header-only,跨平台。支持自定义事件,通过wake_up函数异步唤醒。写这个库的动机是想为之前自己写的日志库提供日志
    2020-02-12
  • Python3 Click模块的使用方法详解

    Python3 Click模块的使用方法详解

    Click 是 Flask 的团队 pallets 开发的优秀开源项目,它为命令行工具的开发封装了大量方法,使开发者只需要专注于功能实现。恰好我最近在开发的一个小工具需要在命
    2020-02-12
  • 解决pyCharm中 module 调用失败的问题

    解决pyCharm中 module 调用失败的问题

    检测自己当前系统环境中python是否已经安装该module,若未安装请自行安装 检测自己的pycharm使用的环境变量是否与当前环境一致 若不一致,则在File中选择Default S
    2020-02-12
  • pycharm 设置项目的根目录教程

    pycharm 设置项目的根目录教程

    clone 一个新项目,发现导包的时候出错 … 原因可能是 pycharm 的根目录设置不对。 设置根目录的步骤 如下 : 以上这篇pycharm 设置项目的根目录教程就是小编分享给
    2020-02-12

最新评论