maven - 为 Spark 包添加解析器

标签 maven apache-spark

我们可以通过以下方式自动获取 jars:

  • 包裹坐标到spark.jars.packages
  • 使用 --packages 传递包坐标spark-submit 的选项.

  • 但是我们如何配置额外的解析器呢?

    最佳答案

    可以使用 --repositories 提供其他存储库选项:

    bin/spark-shell --repositories https://oss.sonatype.org/content/repositories/releases
    

    spark.jars.repositoriesspark-defaults.conf :
    spark.jars.repositories    https://oss.sonatype.org/content/repositories/releases
    

    关于maven - 为 Spark 包添加解析器,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/40671096/

    相关文章:

    python - Apache spark 是如何处理 python 多线程问题的?

    apache-spark - 集成Kafka和HBase的最佳实践

    apache-spark - Spark 中合并多行

    java - Maven-assembly-plugin 失败,超过 GC 开销限制

    java - 如何在不修改提交的 pom 的情况下禁用 Hudson 中的特定模块?

    maven - Android studio 3.0 错误膨胀 info.hoang8f.widget.fbutton

    java - 我是否必须在 Maven 配置文件中复制插件配置?

    python - 使用在 python 和 scala 中创建的相同 redis 池实例

    apache-spark - 如何查看 Spark 使用的核心数?

    android - 带有 android maven 插件的核心库