我们可以通过以下方式自动获取 jars:
spark.jars.packages
--packages
传递包坐标spark-submit
的选项. 但是我们如何配置额外的解析器呢?
最佳答案
可以使用 --repositories
提供其他存储库选项:
bin/spark-shell --repositories https://oss.sonatype.org/content/repositories/releases
或
spark.jars.repositories
在 spark-defaults.conf
:spark.jars.repositories https://oss.sonatype.org/content/repositories/releases
关于maven - 为 Spark 包添加解析器,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/40671096/