是否有一种方法可以在 SparkConf 中指定多个 MongoDB 主机?文档 ( https://docs.mongodb.com/spark-connector/v1.1/configuration/ ) 中的示例似乎表明不可以。
spark.mongodb.output.uri=mongodb://127.0.0.1/
spark.mongodb.output.database=test
spark.mongodb.output.collection=myCollection
最佳答案
spark.mongodb.input.uri
和 spark.mongodb.output.uri
接受 MongoDB Connection URI format 。
连接 URI 格式应适用于所有 MongoDB 支持的驱动程序,包括 Spark 的 MongoDB Scala 驱动程序。例如,为了连接到副本集,您可以指定:
mongodb://db1.example.net,db2.example.net:2500/?replicaSet=myReplica
关于mongodb - 使用多个主机配置 mongodb Spark 连接器,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/41482803/