apache-spark - var hFile = sc.textFile ("hdfs://localhost:9000/ex1/cen.csv") 输入路径不存在错误

Question

我试图在 spark 中访问 hadoop 文件，但出现此错误

org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: hdfs://localhost:9000/ex1/cen.csv
  at org.apache.hadoop.mapred.FileInputFormat.singleThreadedListStatus(FileInputFormat.java:287)

我可以在hadoop中显示文件

hadoop dfs -cat ex1/cen.csv

Answer 1

当你尝试

hadoop dfs -cat ex1/cen.csv

HDFS中读取文件的路径为

/user/.../ex1/cen.csv 

但如果你尝试

hadoop dfs -cat /ex1/cen.csv

目录/ex1 必须放在根目录/ 你想做什么

 hdfs://localhost:9000/ex1/cen.csv

是从根目录读取，我想，你的文件不在那里是因为

/ex1/cen.csv

ex1/cen.csv

是不同的路径。