java - 使用HDFS Java API从HDFS读取文件

Question

您好，我正在尝试使用Java API从HDFS读取文件。

连接到HDFS并列出文件工作正常。

但是在尝试读取文件时出现了Follow异常

函数调用:fs.copyToLocalFile(path，dPath);

java.io.IOException: Could not obtain block: blk_-747325769320762541_16269493 file=/user/s3t.txt
    at org.apache.hadoop.hdfs.DFSClient$DFSInputStream.chooseDataNode(DFSClient.java:2266)
    at org.apache.hadoop.hdfs.DFSClient$DFSInputStream.blockSeekTo(DFSClient.java:2060)
    at org.apache.hadoop.hdfs.DFSClient$DFSInputStream.read(DFSClient.java:2221)
    at java.io.DataInputStream.read(Unknown Source)
    at org.apache.hadoop.io.IOUtils.copyBytes(IOUtils.java:68)
    at org.apache.hadoop.io.IOUtils.copyBytes(IOUtils.java:47)
    at org.apache.hadoop.io.IOUtils.copyBytes(IOUtils.java:100)
    at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:230)
    at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:163)
    at org.apache.hadoop.fs.FileSystem.copyToLocalFile(FileSystem.java:1222)
    at org.apache.hadoop.fs.FileSystem.copyToLocalFile(FileSystem.java:1203)
    at Access.main(Access.java:59)

注意:能够使用fs.createNewFile(myPath)创建新文件；

Answer 1

您可以通过两种方式进行检查。

检查文件的权限，文件的用户和组以及您的用户和组，您必须具有访问文件的权限。

在远程访问文件时，可能是网络路径问题。

请同时检查两者。