我希望能够启动/暂停/恢复蜘蛛,并且我正在尝试使用
scrapy crawl some spiders JOBDIR=crawls/some spider-1
但是,它主要只是复制和粘贴,因为没有太多关于此处实际发生的信息。有人有更多关于细节的信息吗?
我得到了第一部分,但不知道 JOBDIR=crawls/some spider-1
部分实际发生了什么。我看到有人这样写代码
scrapy crawl some spiders JOBDIR=crawls/some spider
.. 没有 -1
并且不知道这有什么区别。我确实注意到了这一点。我倾向于按 CTRL+C 退出,从我阅读的内容和我的经历来看这显然很糟糕,因为如果我重新输入代码
scrapy crawl some spiders JOBDIR=crawls/some spider-1
.. 就像蜘蛛已经完成一样,它会直接完成。
在我犯了这个错误后,我该如何“重置”它?如果我取出 -1
它将再次工作,但我不知道我是否在那里丢失了一些东西。
最佳答案
As explained in the docs , scrapy 允许暂停和恢复抓取,但是你需要一个 JOBDIR
设置。
JOBDIR
值应该是 path to a directory on your filesystem为了持久化各种对象,scrapy 需要恢复它必须做的事情。
请注意,对于单独的抓取,您需要指向不同的目录:
This directory will be for storing all required data to keep the state of a single job (ie. a spider run). It’s important to note that this directory must not be shared by different spiders, or even different jobs/runs of the same spider, as it’s meant to be used for storing the state of a single job.
复制该文档页面中的内容:
scrapy crawl somespider -s JOBDIR=crawls/somespider-1
---------- -------------------
| |
name of your spider |
|
relative path where to save stuff
另一个使用 JOBDIR
的 scrapy 爬网命令示例可能是:
scrapy crawl myspider -s JOBDIR=/home/myuser/crawldata/myspider_run_32
时间轴示例:
scrapy crawl myspider -s JOBDIR=/home/myuser/crawldata/myspider_run_001
# pause using Ctrl-C ...
# ...lets continue where it was left off
scrapy crawl myspider -s JOBDIR=/home/myuser/crawldata/myspider_run_001
# crawl finished properly.
# (and /home/myuser/crawldata/myspider_run_001 should not contain anything now)
# now you want to crawl a 2nd time, from the beginning
scrapy crawl myspider -s JOBDIR=/home/myuser/crawldata/myspider_run_002
关于python - 暂停抓取。我能得到故障吗?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/34776362/