python - Scrapy - 从 URL 获取文件大小和类型而不下载文件？

Question

在 Scrapy 中，我想抓取一些具有大型 .zip 文件的页面，并检索有关这些文件的一些数据(大小、url 等)。我可以做到这一点的一种方法是产生对这些网址的请求，但我认为这会下载文件。如何仅从 zip 的 URL 中获取 header ？是否最好不要抓取我想要从中获取 header 的 URL，而是通过其他方式检索它？

Answer 1

产量requests并指定 HEAD作为一种方法:

yield Request(url, method="HEAD", callback=self.callback)

然后，在回调中读取 response.headers 中的 header :

def callback(self, response):
    print response.headers