hadoop - 无法将示例文件加载到 hadoop 2.2.0

标签 hadoop hadoop2

我尝试安装 2.2.0 伪模式,同时我尝试运行 copyfromlocal 来复制示例数据

我现在在目标路径中使用了/input,比如-bin/hadoop fs -copyFromLocal/home/prassanna/Desktop/input/input

我认为它现在可以工作了,我使用下面的方法验证了文件, bin/hadoop fs -ls/input 12 年 3 月 14 日 09:31:57 警告 util.NativeCodeLoader:无法为您的平台加载 native hadoop 库... 在适用的情况下使用内置 java 类 成立 1 项目 -rw-r--r-- 1根超群64 我还检查了 datanode 的 uI, 但它显示使用的 % 仅为“0”,但它必须显示文件的一些 kb(64) 对吗?请告诉输入文件是否正确复制到 hdfs?** 并告诉我文件在本地机器上的物理存储位置?请帮助解决这个问题。提前致谢

最佳答案

如果您的源路径丢失,那么您必须检查本地机器上的文件是否存在。

但是如果目标文件夹没有丢失,那么首先尝试检查 HDFS 上是否存在该文件夹。 为此,您可以通过 :50070 打开 hadoop HDFS 的 Web UI,然后浏览文件系统

除此之外,您可以通过命令检查文件

 hadoop fs -ls /<path of HDFS directory >

如果可行,则使用以下命令放置文件

  hadoop fs -put <local file path>  <path of HDFS directory>  

如果其中任何一个不起作用,那么您的 hadoop 缺少一些重要的配置

如果您的 Web UI 正在打开但命令未运行,请尝试这样

 hadoop fs -ls hdfs://<hadoop Master ip>/<path of HDFS directory >

如果这有效,运行如下的 put 命令

 hadoop fs -put <local file path> hdfs://<hadoop Master ip>/<path of HDFS directory >   

关于hadoop - 无法将示例文件加载到 hadoop 2.2.0,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/22331746/

相关文章:

hadoop - Hadoop性能基准

hadoop - 如何获取hbase行的所有版本

Hadoop安装配置 : multiple versions side-by-side on same host

java - Hadoop SequenceFile-记录的自动增量键

java - 从 Java 应用程序在 hadoop 2.2 (Yarn) 上启动 mapreduce 作业

hadoop - 使用 Pig/Hive 进行数据处理而不是直接使用 java map reduce 代码?

python-2.7 - 这个 MRJob 例子的解释

hadoop - HDFS 联邦 : Submission of Map Reduce jobs among multiple Name nodes

Hadoop 2.2 namenode正在运行但datanode没有运行

mysql - 配置单元.HiveImport : FAILED: SemanticException [Error 10072]: Database does not exist: