我正在尝试通过 hdfs 复制数据。但没有一个命令对我不起作用。
我关注了online tutorial安装单节点集群。它安装正确,因为 $jsp
命令向我显示了所有 6 个作业。但是当我尝试将文件复制到 hdfs 时,它显示错误。
我正在运行的命令是
hduser@naren-Vostro-3560:~$ hdfs dfs -copyFromLocal /home/nare/Desktop/data/first.txt /app/hadoop/tmp
错误
14/12/30 02:18:09 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
copyFromLocal: '/app/hadoop/tmp': No such file or directory
我已授予输入文件(first.txt)的所有权限
naren@naren-Vostro-3560:~$ ls -al /home/naren/Desktop/data
total 3612
drwxrwxr-x 2 naren naren 4096 Dec 30 01:40 .
drwxr-xr-x 3 naren naren 4096 Dec 30 01:40 ..
-rwxrwxrwx 1 naren naren 674570 Dec 30 01:37 first.txt
-rwxrwxrwx 1 naren naren 1423803 Dec 30 01:39 second.txt
-rwxrwxrwx 1 naren naren 1573151 Dec 30 01:40 third.txt
hdfs 文件夹的权限对我来说也很合适
hduser@naren-Vostro-3560:~$ ls -l /app/hadoop
total 4
drwxr-x--- 5 hduser hadoop 4096 Dec 26 01:22 tmp
我是 Hadoop 和 Linux 的新手,并且被困在这里。 我还尝试创建一个新目录
hduser@naren-Vostro-3560:~$ hadoop fs -mkdir -p /user/hduser/sample
它没有为我创建任何目录。
请让我知道哪里出错了。
提前致谢!!
Hadoop 版本:Hadoop 2.5.2
操作系统:Ubuntu 14.04
最佳答案
您需要确保/app/hadoop 是在 hdfs 中创建的,而不是本地 fs。在检查目录时,使用 ls -l 检查与 hdfs 命名空间分开的本地文件系统。尝试 hadoop fs -ls/app/hadoop。如果不存在,则使用 hadoop fs -mkdir 创建它。 – 斯恩克赫夫
关于linux - 无法使用 hdfs dfs 命令复制 hdfs 中的数据,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/27696038/