file - java eclipse hadoop map reduce程序无法访问我存储在hdfs中的文件

标签 file hadoop input microsoft-distributed-file-system

我的 java eclipse hadoop map reduce 程序显示无法定位输入文件的错误。我已经使用 hadoop 命令通过终端将文件复制到 hadoop 目录。我可以在 java eclipse dfs 位置看到这些文件。并且还在终端中使用命令 hadoop dfs -ls 。当我创建一个普通文件夹(不是 hdfs)时,问题就解决了。但是随后程序正在从本地文件系统访问文件。 我已经在 redhat 服务器 32 位上安装了 hadoop 1.2.1,使用 java eclipse luna,我已经包含了 hadoop 插件和来自 hadoop 库的外部 jar 文件。输入和输出路径通过运行时参数给出

最佳答案

首先,Hadoop eclipse 插件的可靠性并不高。在 Eclipse Luna 中使用该插件时,我遇到了同样的问题。但是当我使用 Eclipse Juno 时,兼容性问题得到了解决。并且没有适用于 Hadoop 2.x 版本的合适插件。 您可以使用工具 Maven 来管理所有 Hadoop 依赖项,就像 Hadoop eclipse 插件一样,只是您应该从终端运行作业。

Link on how to use Maven with Hadoop

如果适合您的情况,请接受我的回答。 :)

关于file - java eclipse hadoop map reduce程序无法访问我存储在hdfs中的文件,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/28778001/

相关文章:

java - 如何从java8中的文件夹中获取唯一的文件名

c - 从函数返回 FILE 指针并在 main 上处理它

regex - 正则表达式在spark.read.json中

Hadoop I/O 密集型示例

node.js - 如何将十六进制字符串转换为base64以便在NodeJS中保存图像

c - 文件签名C

javascript - 输入数据未定义

java - 打印出用户指定长度的第一部分

hadoop - prestodb配置单元SQL查询错误

从 IDE 调试时来自文件的 C++ 标准输入