ubuntu - 无法使用 Hadoop-Fuse 挂载 HDFS

Question

我有一个在 AWS EC2 上运行的 2 节点 Hadoop 集群。我正在尝试将 HDFS 安装在不同的 EC2 实例上。客户端运行的是 Ubuntu 12.04.4 LTS，我已经安装了 Hadoop-Fuse。

# apt-cache policy hadoop-0.20-fuse
hadoop-0.20-fuse:
Installed: 0.20.2+923.479-1~maverick-cdh3
Candidate: 0.20.2+923.479-1~maverick-cdh3
Version table:
*** 0.20.2+923.479-1~maverick-cdh3 0
   500 http://archive.cloudera.com/debian/ maverick-cdh3/contrib amd64 Packages
   100 /var/lib/dpkg/status

在我尝试安装它之后，我得到以下信息:

# hadoop-fuse-dfs dfs://10.0.0.160:9000 /mnt/tmp
INFO fuse_options.c:165 Adding FUSE arg /mnt/tmp

当我运行“df”命令时，我在那里看不到它并得到输入/输出错误

# df -h
df: `/mnt/tmp': Input/output error
Filesystem                Size  Used Avail Use% Mounted on
/dev/xvda1                 30G  3.5G   25G  13% /

路径也显示如下:

# ls -alh /mnt
ls: cannot access /mnt/tmp: Input/output error
total 8.0K
drwxr-xr-x  3 root root 4.0K Aug 11 19:42 .
drwxr-xr-x 25 root root 4.0K Aug 11 17:35 ..
d?????????  ? ?    ?       ?            ? tmp

有什么方法可以安装它吗？

Answer 1

不幸的是，hadoop-fuse-dfs 没有很好的错误消息或文档。

为了让 hadoop-fuse-dfs 正常工作，您需要 Namenode 的 RPC 端口，即 hdfs-site.xml 中的 dfs.namenode.servicerpc-address。

# hadoop-fuse-dfs dfs://NAMENODE:RPCPORT /mnt/tmp