mongodb - 使用多个主机配置 mongodb Spark 连接器

标签 mongodb apache-spark configuration connector

是否有一种方法可以在 SparkConf 中指定多个 MongoDB 主机?文档 ( https://docs.mongodb.com/spark-connector/v1.1/configuration/ ) 中的示例似乎表明不可以。

spark.mongodb.output.uri=mongodb://127.0.0.1/
spark.mongodb.output.database=test
spark.mongodb.output.collection=myCollection

最佳答案

spark.mongodb.input.urispark.mongodb.output.uri 接受 MongoDB Connection URI format

连接 URI 格式应适用于所有 MongoDB 支持的驱动程序,包括 Spark 的 MongoDB Scala 驱动程序。例如,为了连接到副本集,您可以指定:

mongodb://db1.example.net,db2.example.net:2500/?replicaSet=myReplica

关于mongodb - 使用多个主机配置 mongodb Spark 连接器,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/41482803/

相关文章:

javascript - 从 Promise 获取数据

mongodb - 如何运行 mongo-express(无需身份验证)?

apache-spark - 从 Kafka 读取消息并写入 HDFS

python - 用户定义的函数破坏了 pyspark 数据帧

apache-spark - Spark,执行者加载/查询数据 - 性能非常低

scala - 如何在启动时打印 akka 配置?

javascript - MongoDB NodeJS 进程内存不足

c# - 数据模型和服务模型之间的继承模式是什么?

eclipse - 在 Eclipse 中运行 JUnit 时自动添加属性

spring - 通过 webmvc-config.xml 在 Spring boot 项目的自定义属性文件中定义的配置未反射(reflect)到一个项目组件