我正在尝试删除一系列网页,但出现漏洞,有时看起来该网站无法正确发送 html 响应。这导致 csv 输出文件有空行。当响应中的 xpath 选择器为空时,如何重试 n 次请求和解析?请注意,我没有任何 HTTP 错误。
最佳答案
你可以使用自定义重试中间件来做到这一点,你只需要覆盖 process_response
当前的方法Retry Middleware :
from scrapy.downloadermiddlewares.retry import RetryMiddleware
from scrapy.utils.response import response_status_message
class CustomRetryMiddleware(RetryMiddleware):
def process_response(self, request, response, spider):
if request.meta.get('dont_retry', False):
return response
if response.status in self.retry_http_codes:
reason = response_status_message(response.status)
return self._retry(request, reason, spider) or response
# this is your check
if response.status == 200 and response.xpath(spider.retry_xpath):
return self._retry(request, 'response got xpath "{}"'.format(spider.retry_xpath), spider) or response
return response
然后启用它而不是默认的
RetryMiddleware
在 settings.py
:DOWNLOADER_MIDDLEWARES = {
'scrapy.downloadermiddlewares.retry.RetryMiddleware': None,
'myproject.middlewarefilepath.CustomRetryMiddleware': 550,
}
现在您有了一个中间件,您可以在其中配置
xpath
使用属性 retry_xpath
在蜘蛛内部重试:class MySpider(Spider):
name = "myspidername"
retry_xpath = '//h2[@class="tadasdop-cat"]'
...
当您的项目字段为空时,这不一定会重试,但您可以在此
retry_xpath
中指定该字段的相同路径属性使其工作。
关于scrapy - 如何在项目获取空字段时重试请求 n 次?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/41404281/