python - 我应该创建管道以使用 scrapy 保存文件吗？

Question

我需要保存文件 (.pdf)，但不确定如何保存。我需要保存 .pdf 文件并将它们存储在目录中，就像它们存储在我正在抓取它们的网站上一样。

据我所知，我需要制作一个管道，但据我了解，管道保存的“项目”和“项目”只是基本数据，如字符串/数字。保存文件是正确使用管道，还是我应该将文件保存在蜘蛛中？

Answer 1

是和否[1]。如果您获取 pdf，它将存储在内存中，但如果 pdf 不够大，无法填满您的可用内存，那么也可以。

您可以将 pdf 保存在蜘蛛回调中:

def parse_listing(self, response):
    # ... extract pdf urls
    for url in pdf_urls:
        yield Request(url, callback=self.save_pdf)

def save_pdf(self, response):
    path = self.get_path(response.url)
    with open(path, "wb") as f:
        f.write(response.body)

如果您选择在管道中进行:

# in the spider
def parse_pdf(self, response):
    i = MyItem()
    i['body'] = response.body
    i['url'] = response.url
    # you can add more metadata to the item
    return i

# in your pipeline
def process_item(self, item, spider):
    path = self.get_path(item['url'])
    with open(path, "wb") as f:
        f.write(item['body'])
    # remove body and add path as reference
    del item['body']
    item['path'] = path
    # let item be processed by other pipelines. ie. db store
    return item

[1] 另一种方法可能是只存储 pdf 的 url 并使用另一个进程来获取文档而不缓冲到内存中。 (例如 wget)