python - 如何从另一个 Python 脚本调用特定的 Scrapy 蜘蛛

Question

我有一个名为 algorithm.py 的脚本，我希望能够在脚本期间调用 Scrapy 蜘蛛。文件结构为:

算法.py 我的蜘蛛/

其中 MySpiders 是包含多个 scrapy 项目的文件夹。我想创建方法 perform_spider1()、perform_spider2()... 我可以在 algorithm.py 中调用它们。

我如何构建这个方法？

我已经设法使用以下代码调用一个蜘蛛，但是，这不是一种方法，它只适用于一个蜘蛛。我是初学者，需要帮助!

import sys,os.path
sys.path.append('path to spider1/spider1')
from twisted.internet import reactor
from scrapy.crawler import Crawler
from scrapy.settings import Settings
from scrapy import log, signals
from scrapy.xlib.pydispatch import dispatcher
from spider1.spiders.spider1_spider import Spider1Spider

def stop_reactor():
    reactor.stop()

dispatcher.connect(stop_reactor, signal=signals.spider_closed)

spider = RaListSpider()
crawler = Crawler(Settings())
crawler.configure()
crawler.crawl(spider)
crawler.start()
log.start()
log.msg('Running reactor...')
reactor.run() # the script will block here
log.msg('Reactor stopped.')

Answer 1

只需检查您的蜘蛛并通过调用configure、crawl 和start 来设置它们，然后才调用log。 start() 和 reactor.run()。并且 scrapy 会在同一个进程中运行多个爬虫。

有关详细信息，请参阅 documentation和 this thread .

此外，考虑通过 scrapyd 运行您的蜘蛛程序.

希望对您有所帮助。