我刚刚在 Ubuntu 14.04 上安装了 scrapyd,安装后,我只需在命令行中输入“scrapyd”并得到:
无法加载应用程序:没有名为 txweb 的模块
我使用了通用的和 Ubuntu 特定的 installations似乎都不起作用。只是为了一些背景知识,在创建了一个运行多个蜘蛛但无法将抓取的数据传输到两个不同表中的项目后,我决定使用 scrapyd。我查看了其他一些帖子,例如 this一,但他们似乎正在解决旧版本的 scrapyd,这可能不再相关。
有人可以告诉我如何开始使用 scrapyd,因为文档中提供的信息似乎对我不起作用,谢谢。
最佳答案
虽然文档有 apt-get ... pip 是安装 scrapy 的更好方法(对我来说从来没有失败过)
sudo pip install scrapyd
对我有用,然后 scrapyd
不会给出任何错误。
当您使用 apt-get 安装时,twisted 可能不会安装,但 pip 会处理这个问题。
尝试先卸载 apt-get scrapyd,然后使用 pip 安装它
sudo apt-get purge scrapyd
sudo pip install scrapyd
-------------- 更新 ------------
回答评论中的下一个问题...
如果您想运行 scrapyd-deploy
,您还需要安装 scrapy-client
包,该包未与 scrapy
一起安装。文档中提到了这一点 - http://scrapyd.readthedocs.org/en/latest/deploy.html
您可以使用sudo pip install scrapyd-client
来安装它
关于python - 在终端中启动 scrapyd 时发生 fatal error ,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/31392678/