python - Scrapy 只抓取 http header 数据

Question

(如何)我可以实现 scrapy 只下载网站的标题数据(用于检查目的等)

我试过禁用一些下载中间件，但它似乎不起作用。

Answer 1

如@alexce 所说，您可以发出 HEAD Request s 而不是默认的 GET:

Request(url, method="HEAD")

更新:如果您想为您的 start_urls 使用 HEAD 请求，您需要覆盖 make_requests_from_url 方法:

def make_requests_from_url(self, url):
    return Request(url, method='HEAD', dont_filter=True)

更新:make_requests_from_url 在 Scrapy 2.6 中被移除。