我知道我应该在启动 pyspark 时将其添加为包要求:
$SPARK_HOME/bin/spark-shell --packages com.databricks:spark-csv_2.11:1.4.0
但是在 Bluemix 中，spark 已经在运行并且已经定义了 Spark 上下文。我怎样才能添加这个包？
顺便说一句，我可以在 Scala 中执行此操作吗？
最佳答案
目前在 Bluemix 上，在 Python 笔记本中使用 PySpark，无法将 spark-csv 添加到环境中。
但是，您可以使用以下命令将其添加到 Scala 笔记本中:
%AddDeps com.databricks spark-csv_2.10 1.3.0 --transitive
当然，您可以选择其他版本的软件包。
对于 Scala 笔记本和相应的 Spark 内核，请查看以下文档: https://github.com/ibm-et/spark-kernel/wiki/List-of-Current-Magics-for-the-Spark-Kernel
关于python - 如何将 Databricks Spark-csv 包添加到 IBM Bluemix 上的 Python Jupyter 笔记本，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/36926906/