python - Scrapy - 允许媒体管道下载已下载的网址

Question

我正在使用媒体管道将各种文件下载到磁盘，但它似乎阻止下载以前下载的文件(具有相同的 URL)。我不希望它这样做，我希望下载重复的图像(它们是用不同的文件名编写的)。有什么方法可以覆盖此行为并允许媒体管道处理相同的 url？

(使用scrapy 0.24)

Answer 1

我查看了媒体管道中使用的类，似乎任何媒体请求的指纹都可以避免下载重复项。

在 scrapy/scrapy/utils/request.py request_fingerprint 方法描述创建请求的 sha1 哈希，包括请求 header 等数据。

为了允许重复请求，我在 header 值中包含了该项目特有的一段数据(以生成唯一的指纹)，如下所示:

def get_media_requests(self, item, info):
    if isinstance(item, ExampleMedia):
        request = Request("http://example.com/medialibrary/"+str(item['mediaID']))
        request.meta['item'] = item
        request.headers['fpBuster']=item['uniqueID']
        yield request

我希望这可以帮助其他正在寻找下载媒体重复请求的方法的人。如果有一种方法可以做到这一点而不需要使用像这样的 header ，那就太好了，因为我想，意外的 header 可能会混淆目标站点。如果有人有更好的解决方案请告诉我。