java - 在 Spark 中访问 Cassandra 节点

Question

我有两个 Cassandra 节点，我正在开发一个 Java-Spark 应用程序。

我有一个 Spark Master 和两个 slave。以下代码用于连接到单个 Cassandra 节点:

sparkConf.set("spark.cassandra.connection.host", "server");

如何添加额外的 Cassandra 节点？

Answer 1

documentation很清楚:

new SparkConf(true)
   .set("spark.cassandra.connection.host", "192.168.123.10")

就在下面:

“可以使用逗号分隔列表(“127.0.0.1,127.0.0.2”)传入多个主机。这些只是初始联系点，本地 DC 中的所有节点将在连接时使用。 ”

换句话说，你只需要连接到 Spark master，它通过资源管理器了解集群中的其他机器。当您想要连接到多个集群时，以逗号分隔的列表很有用。