我还没有设法让 Spark、Scala 和 Jupyter 合作。有人有简单的食谱吗？您使用的每个组件的哪个版本？
最佳答案
Apache Toree与 DataProc 的 1.0 镜像兼容，目前包括 Spark 1.6.1。我曾尝试将它与包含 Spark 2.0 预览的预览图像一起使用，但未成功。要在 DataProc master 上安装 Toree，您可以运行
sudo apt install python3-pip
pip3 install --user jupyter
export SPARK_HOME=/usr/lib/spark
pip3 install --pre --user toree
export PATH=$HOME/.local/bin:$PATH
jupyter toree install --user --spark_home=$SPARK_HOME
关于scala - 在 Dataproc 上运行 Spark + Scala + Jupyter，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/38088138/