java - 在新旧版本 Hadoop 上工作的 JAVA 中远程访问 HDFS 的方法

标签 java hadoop hdfs

我正在尝试使用用 JAVA 编写的程序远程访问 HDFS。 WebHDFS 与最新版本的 Hadoop 配合得很好,但我应该选择哪种协议(protocol)才能在最大数量的 Hadoop 版本上工作?

如果可能的话,我想使用一个可以在所有版本的 Hadoop 上工作的协议(protocol),只要它不会比对不同版本的 Hadoop 使用不同的协议(protocol)慢得多。

最佳答案

LibHDFS 存在于 hadoop 的较旧 (1.x) 和较新 (2.x) 版本中。它是纯 java 并且有相当稳定的 API。

关于java - 在新旧版本 Hadoop 上工作的 JAVA 中远程访问 HDFS 的方法,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/18188895/

相关文章:

java - servlet 收到 AJAX 调用但未给出响应

java - AES。 javax.crypto.Cipher 在解密模式下返回空数组

java - 命令在终端中工作,但使用 Process.exec 时出现 "no closing quote"错误

hadoop - Pig/Hadoop 中的奇怪转换错误

shell - 通过SQOOP操作在OOZIE中列出MS SQL Server表

java - InvalidInputException:输入路径不存在

hadoop - 合并 HDFS 上的压缩文件

java - 这个 Java for 循环在伪代码中应该是什么样子?

hadoop - 尽管表中有主键,但导入时 Sqoop --split-by 错误

hadoop - 配置单元权限被拒绝,插入覆盖目录