web-scraping - 制表符分隔的 csv 而不是在 scrapy 中分隔的逗号

Question

我目前正在使用命令

scrapy crawl myspider -o output.csv -t csv

获取输出 csv 文件。默认情况下，这些文件以逗号分隔。我如何获取制表符分隔的文件？

Answer 1

使用此解决方案覆盖 Scrapy 的默认 CSV 编写器分隔符。

scraper/exporters.py

from scrapy.exporters import CsvItemExporter


class CsvCustomSeperator(CsvItemExporter):
    def __init__(self, *args, **kwargs):
        kwargs['encoding'] = 'utf-8'
        kwargs['delimiter'] = '\t'
        super(CsvCustomSeperator, self).__init__(*args, **kwargs)

scraper/settings.py

FEED_EXPORTERS = {
    'csv': 'scraper.exporters.CsvCustomSeperator'
}

在终端

$ scrapy crawl spider -o file.csv