我正在使用 Java-Spark。
我正在尝试写入外部 HDFS 目录，如下所示:
df.write().mode(mode).save("hdfs://myservername:8020/user/path/to/hdfs");
并得到一个异常(exception)
host details: local host is: ... destination host is: ...
如何从 Spark 写入“外部”hdfs 目录而不写入本地 Hadoop/HDFS？
谢谢
最佳答案
检查 HDFS Namenode 主机名是否可以从 Spark 集群访问，您也可以使用 ip 地址。
hdfs://<HDFS_NAMENODE_IP>:8020/user/path/to/hdfs
您还可以使用以下方式更新 spark 应用程序中的 spark 配置:
spark.conf.set("fs.defaultFS", "hdfs://<HDFS_NAMENODE_IP>:8020/") .
关于apache-spark - 使用 Spark 写入外部 Hadoop，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/51498687/