python-2.7 - 有什么方法可以更改scrapy中的日志消息格式?

标签 python-2.7 web-scraping scrapy scraper twisted.internet

我想修改scrapy日志消息以在其开头包含用户ID。例如,而不是这个

2015-03-03 17:09:34+0530 [scrapy] INFO: Enabled spider middlewares: HttpErrorMiddleware, OffsiteMiddleware, RefererMiddleware, UrlLengthMiddleware, DepthMiddleware

有没有可能让它看起来像
**user_id**:2015-03-03 17:09:34+0530 [scrapy] INFO: Enabled spider middlewares: HttpErrorMiddleware, OffsiteMiddleware, RefererMiddleware, UrlLengthMiddleware, DepthMiddleware

另外,有没有办法只记录用户消息;即,只记录我想记录的消息,我将从代码中提供?

任何帮助将不胜感激。提前致谢!

最佳答案

Scrapy 使用 Twisted 的日志系统,它建立在日志标准库之上。我没有答案,如何更改scrapy本身生成的日志的日期格式。

对于你的第二个问题,我可能有答案。我认为你应该通过设置完全静音scrapy日志记录

LOG_ENABLED = False

在你的 settings.py 中。然后,为自己配置日志模块(在蜘蛛模块之上)
logging.basicConfig(level=logging.DEBUG, format='%(asctime)s %(levelname)8s\t%(message)s', )

然后使用 logging.log 登录, logging.info , logging.debug等等

我留给你找出所需的日志记录格式。

关于python-2.7 - 有什么方法可以更改scrapy中的日志消息格式?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/28831435/

相关文章:

python-2.7 - Pandas 数据框合并问题

python - 卡在网页抓取代码上

javascript - 在共享主机上运行 phantomjs 程序?

javascript - 使用 python 抓取验证码

python - 如何为 Scrapy 项目设置 RotatingFileHandler(或最大尺寸)

python - Scrapy - 如何根据抓取项目中的链接抓取新页面

python - Scrapy - 属性错误 : 'Settings' object has no attribute 'update_settings'

python - python中的分组统计单词

python - 如何为 Grove Pi 同时运行两个脚本?

python - Gtk 3 python 入口颜色