pyspark - EMR PySpark "ModuleNotFoundError: No module named ' spacy'"

Question

我一直没有成功尝试将 Spacy 安装到我的 EMR 集群上以运行 Pyspark 作业。
我对 EMR 的引导操作看起来像这样

pip install --upgrade pip

sudo conda install -c conda-forge spacy
sudo python3 -m spacy download en_core_web_sm
sudo python3 -m spacy download en 

sudo python3 -m pip install -U spacy
sudo python3 -m pip install -U boto3
sudo python3 -m pip install -U pandas
sudo python3 -m spacy download en_core_web_sm
sudo python3 -m spacy download en

正如您在上面看到的，我一直在尝试通过 pip 和 conda 安装它，但似乎都不起作用。
令人惊讶的是，当我使用 jupyter 笔记本而不尝试将我的 pyspark 作业作为 EMR 的一个步骤提交时，它确实有效。

Answer 1

我遇到过类似的问题。一些可行的方法:

在引导操作中检查 EMR 中的 stdout、stderr 文件。在 cluster-Configuration details-LOG URI

的摘要部分中提到了它

显然，Spacy 具有 Cython 依赖项，并且不会自动下载。因此包括以下命令帮助:

    sudo python3 -m pip install --upgrade pip

    sudo python3 -m pip install --upgrade pip setuptools
    
    sudo python3 -m pip install wheel
    
    sudo python3 -m pip install -U Cython

    sudo python3 -m pip install -U spacy==2.3.5

    sudo python3 -m spacy download en_core_web_sm