我正在尝试从已安装在 AWS ec2 中的 cassandra 获取数据。 当我通过 pyspark 运行以下命令时,我可以从 AWS 读取数据, 然而,当我通过spark-submit提交相同的python文件时,我从本地获取rdd。你能建议我哪里缺少配置吗?
from pyspark import SparkConf, SparkContext
from pyspark.sql.session import SparkSession
conf = SparkConf().setAppName("testCassandra").set("spark.cassandra.connection.host", "#ec2ip#").set("spark.cassandra.connection.port", "9042")
sc = SparkContext(conf = conf)
spark = SparkSession(sc)
rdd = spark.read.format("org.apache.spark.sql.cassandra").options(table="tweettable", keyspace="twitterstorage", ).load().rdd
最佳答案
我能够通过传递 --conf Spark.cassandra.connection.host=ip 作为 Spark -submit 的参数来解决这个问题。
关于amazon-web-services - 从本地连接到客户端 cassandra,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/43398648/