python记录错误日志文件，python爬虫动态网站

Python是脚本语言，因其通俗易懂和学习门槛低，已经成为编程的入门级语言。而爬虫在互联网行业中也是相当常见的技术手段之一。但是，Python的脚本语言本身容易出错，而爬虫又是面向互联网的技术，所以在爬虫过程中出现各种错误十分普遍。为了方便排查问题并定位错误，我们通常需要用日志记录程序运行过程中的错误信息。

Python自带了日志库，可以非常方便的实现日志记录。其中，最基本的日志记录库是logging，它可以指定日志级别，如DEBUG、INFO、WARNING、ERROR、CRITICAL等，方便我们按照不同的级别来排查问题。在Python中，日志记录过程可以分为以下三个部分：

1. 创建Logger对象

要使用logging模块记录日志，首先需要创建一个Logger对象。我们使用logging.getLogger()函数获取一个Logger的实例，如果有多个实例，建议使用不同的名称区分。

```

import logging

logger = logging.getLogger("spider")

```

2. 设置日志处理器Handler

处理器定义了如何处理日志记录的输出，可以指定将日志记录输出到文件、控制台等不同的目的地。我们使用logging.FileHandler()函数来指定输出到日志文件中：

```

handler = logging.FileHandler(filename="spider.log")

```

同时，也可以使用logging.StreamHandler()函数来指定输出到控制台：

```

handler = logging.StreamHandler()

```

3. 定义日志格式Formatter

格式化定义了日志输出的样式。我们可以根据自己的需求来设定日志格式。在使用FileHandler的时候，一般都需要定义日志格式，以便于查看日志信息。

```

formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')

handler.setFormatter(formatter)

```

这里我们定义了一个较为详细的格式，包括了时间、Logger名称、日志级别和日志信息。实际中，日志格式可以根据自己的需求进行定义。

有了以上三个步骤之后，我们可以愉快的进行日志记录了。在记录日志的时候，我们要注意记录日志的级别，以便于快速定位问题。logging模块预定义了多种日志级别，下面是日志级别的具体意义：

DEBUG：详细的信息，通常只在调试时期使用；

INFO：确认事情按预期工作；

WARNING：表示发生潜在的问题，此时应该采取一些措施；

ERROR：由于更严重的问题，导致某些功能不能正常完成；

CRITICAL：严重错误，表明程序本身可能无法继续运行。

logging模块提供了多种记录日志的方法，其中常用的有以下几种：

logger.debug(msg)：输出详细的调试信息；

logger.info(msg)：输出一般的信息；

logger.warning(msg)：输出警告信息；

logger.error(msg)：输出错误信息；

logger.critical(msg)：输出严重的错误信息。

以记录错误日志为例，下面是一个简单的Python脚本，展示了如何使用logging模块来记录错误日志：

```

import logging

# 配置日志

logging.basicConfig(filename='error.log',

level=logging.ERROR,

format='%(asctime)s - %(levelname)s - %(message)s',

datefmt='%Y-%m-%d %H:%M:%S')

def spider():

try:

# 爬虫代码

raise IOError("读取超时")

except Exception as e:

# 记录错误日志

logging.error(e)

if __name__ == '__main__':

spider()

```

在这个脚本中，我们使用了logging.basicConfig()函数配置了日志相关信息。其中，filename参数指定日志文件名，level指定记录最低的日志级别（这里指定为ERROR），format指定日志输出的格式，datefmt指定日期的格式。接下来，在spider函数中，我们使用try...except...语句来捕捉异常，并使用logging.error()方法记录错误日志。当然，这个脚本只是一个简单的例子，实际中的爬虫代码可能比较复杂，需要记录多种类型的日志信息。

此外，在爬虫过程中，我们还需要注意动态网站的问题。由于动态网站的数据是通过异步加载来获取，因此在进行爬虫过程中，需要使用一些技巧来解决异步加载的问题。通常我们可以使用Selenium、PhantomJS等工具来模拟浏览器行为，从而获取异步加载的数据。

综上所述，为了方便排查问题并定位错误，我们通常需要使用日志记录程序运行过程中的错误信息。Python自带了日志库，其中最基本的日志记录库是logging。在使用logging模块记录日志时，要先创建Logger对象、设置日志处理器Handler、定义日志格式Formatter。记录日志时需要注意日志级别，以便于快速定位问题。在进行爬虫过程中，还需要注意动态网站的问题。 如果你喜欢我们三七知识分享网站的文章， 欢迎您分享或收藏知识分享网站文章 欢迎您到我们的网站逛逛喔！https://www.ynyuzhu.com/