python - 在终端中启动 scrapyd 时发生 fatal error

标签 python web-scraping scrapy scrapyd

我刚刚在 Ubuntu 14.04 上安装了 scrapyd,安装后,我只需在命令行中输入“scrapyd”并得到:

无法加载应用程序:没有名为 txweb 的模块

我使用了通用的和 Ubuntu 特定的 installations似乎都不起作用。只是为了一些背景知识,在创建了一个运行多个蜘蛛但无法将抓取的数据传输到两个不同表中的项目后,我决定使用 scrapyd。我查看了其他一些帖子,例如 this一,但他们似乎正在解决旧版本的 scrapyd,这可能不再相关。

有人可以告诉我如何开始使用 scrapyd,因为文档中提供的信息似乎对我不起作用,谢谢。

最佳答案

虽然文档有 apt-get ... pip 是安装 scrapy 的更好方法(对我来说从来没有失败过)

sudo pip install scrapyd 对我有用,然后 scrapyd 不会给出任何错误。

当您使用 apt-get 安装时,twisted 可能不会安装,但 pip 会处理这个问题。

尝试先卸载 apt-get scrapyd,然后使用 pip 安装它

sudo apt-get purge scrapyd
sudo pip install scrapyd

-------------- 更新 ------------

回答评论中的下一个问题...

如果您想运行 scrapyd-deploy,您还需要安装 scrapy-client 包,该包未与 scrapy 一起安装。文档中提到了这一点 - http://scrapyd.readthedocs.org/en/latest/deploy.html

您可以使用sudo pip install scrapyd-client来安装它

关于python - 在终端中启动 scrapyd 时发生 fatal error ,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/31392678/

相关文章:

python - 将图像 src 包含到 LinkExtractor Scrapy CrawlSpider

python - Scrapy - 对项目中的特定蜘蛛(而不是其他蜘蛛)使用 feed 导出器

python - 使用 redis 和 celery 向所有工作人员广播任务

c# - 帮助将 Python 应用程序转换为 C#

python - 使用 scrapy 从 gsmarena 页面提取数据

python - 为什么当我尝试打开 Google AdWords 时,Python 中的 Machenize 包会打开支持页面?

python - Scrapy start_urls 未解析

python - 在 Matplotlib 中的两个图之间画线

Python编码问题

python - 无法通过 BeautifulSoup 使用 $0 从 DOM 元素中提取内容