python - Scrapy:通过 cmdLine 从同一 python 进程运行多个蜘蛛失败

代码如下:

if __name__ == '__main__':
    cmdline.execute("scrapy crawl spider_a -L INFO".split())
    cmdline.execute("scrapy crawl spider_b -L INFO".split())

我打算在 scrapy 项目下的同一个主门户中运行多个蜘蛛，但事实证明只有第一个蜘蛛已成功运行，而第二个蜘蛛似乎被忽略了。有什么建议么？

最佳答案

就这么做

import subprocess

subprocess.call('for spider in spider_a spider_b; do scrapy crawl $spider -L INFO; done', shell=True)

关于python - Scrapy:通过 cmdLine 从同一 python 进程运行多个蜘蛛失败，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/47427271/