明凯博客

关注网站技术,一个特立独行的程序员

清除scrapy爬虫满屏的打印信息的问题

Scrapy 提供了 log 功能。可以通过 scrapy.log 模块使用。

在运行scrapy crawl aimks时,屏幕上满屏的打印信息,实在是不好找错误信息。

我查了下scrapy的log服务,他默认开启的是debug模式。

log 服务必须通过显式调用 scrapy.log.start() 来开启,以捕捉顶层的 Scrapy 日志消息。

再次之上,每个 crawler 都拥有独立的 log 观察者(observer)(创建时自动连接(attach)),接收其 spider 的日志消息。

Scrapy 提供 5 层 logging 级别:

CRITICAL – 严重错误(critical)
ERROR – 一般错误(regular errors)
WARNING – 警告信息(warning messages)
INFO – 一般信息(informational messages)
DEBUG – 调试信息(debugging messages)

Logging 设置
以下设置可以被用来配置 logging:

LOG_ENABLED
LOG_ENCODING
LOG_FILE
LOG_LEVEL
LOG_STDOUT

在setting中设置

1
LOG_LEVEL= 'WARNING'

这样子,我们的终端就从

20170928112028

变成了

20170928111947

这样子,屏幕是不是清爽了很多呢,查找问题也简单多了。

, ,

相关文章

1 条评论 “清除scrapy爬虫满屏的打印信息的问题

发表评论

电子邮件地址不会被公开。 必填项已用*标注