scala - 无法从 HDFS 读取文件

Question

我正在尝试从 HDFS 读取文件。我正在使用以下代码:

val sam = sc.wholeTextFiles("hdfs://localhost:9000"+inputFolder,4)

我收到以下错误:

java.lang.IllegalArgumentException: Wrong FS: hdfs://localhost, expected: hdfs://localhost:9000

我已经引用了这个问题以在我的文件路径中添加 URI:
Cannot Read a file from HDFS using Spark

但由于上述错误，我仍然无法读取文件。我该如何解决这个问题？

Answer 1

您能否检查在您的系统中添加 winutils.exe 并为其设置环境变量。 Spark 需要 winutils.exe 来执行 hdfs 操作。