如何从蜘蛛回调中收集统计数据？
示例
class MySpider(Spider):
name = "myspider"
start_urls = ["http://example.com"]
def parse(self, response):
stats.set_value('foo', 'bar')
不确定要导入 什么或如何使stats 一般可用。
最佳答案
查看 stats page from the scrapy documentation .文档指出 Stats Collector，但可能需要将 from scrapy.stats import stats 添加到您的爬虫代码中，以便能够使用它做一些事情。
编辑:冒着自吹自擂的风险，如果您想要一个具体的例子，我发布了一个 answer about how to collect failed urls .
EDIT2:经过大量谷歌搜索后，显然不需要导入。只需使用 self.crawler.stats.set_value()!
关于python - 如何从 scrapy 蜘蛛回调中收集统计数据？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/22951418/