我想知道如何启动一个基于Scrapy的爬虫。我通过 apt-get install 安装了该工具，并尝试运行一个示例:
/usr/share/doc/scrapy/examples/googledir/googledir$ scrapy list directory.google.com /usr/share/doc/scrapy/examples/googledir/googledir$ scrapy crawl
我从 spiders/google_directory.py 破解了代码，但它似乎没有执行，因为我没有看到我插入的任何打印件。我阅读了他们的文档，但没有发现与此相关的内容；你有什么想法吗？
此外，如果您认为我应该使用其他工具来抓取网站，请告诉我。我没有使用 Python 工具的经验，但 Python 是必须的。
谢谢!
最佳答案
您在抓取命令中遗漏了蜘蛛名称。使用:
$ scrapy crawl directory.google.com
此外，我建议您将示例项目复制到您的家中，而不是在 /usr/share/doc/scrapy/examples/ 目录中工作，这样您就可以修改它并使用它:
$ cp -r /usr/share/doc/scrapy/examples/googledir ~
$ cd ~/googledir
$ scrapy crawl directory.google.com
关于python - 如何使用抓取，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/3773035/