hadoop - Hadoop NFS无法启动Hadoop NFS网关

标签 hadoop hdfs nfs

我正在尝试在Hadoop群集上安装NFS网关。
不幸的是,我无法使用以下错误来启动nfs网关。

我还尝试通过修改log4j文件以包含“调试”信息来添加更多调试信息。 Log4j文件似乎并不影响输出。因此,我还需要知道如何提高日志记录级别。

    ************************************************************/
14/05/22 10:59:43 INFO nfs3.Nfs3Base: registered UNIX signal handlers for [TERM, HUP, INT]
Exception in thread "main" java.lang.IllegalArgumentException: value already present: sshd
        at com.google.common.base.Preconditions.checkArgument(Preconditions.java:115)
        at com.google.common.collect.AbstractBiMap.putInBothMaps(AbstractBiMap.java:112)
       at com.google.common.collect.AbstractBiMap.put(AbstractBiMap.java:96)
        at com.google.common.collect.HashBiMap.put(HashBiMap.java:85)
        at org.apache.hadoop.nfs.nfs3.IdUserGroup.updateMapInternal(IdUserGroup.java:85)
        at org.apache.hadoop.nfs.nfs3.IdUserGroup.updateMaps(IdUserGroup.java:110)
        at org.apache.hadoop.nfs.nfs3.IdUserGroup.<init>(IdUserGroup.java:54)
        at org.apache.hadoop.hdfs.nfs.nfs3.RpcProgramNfs3.<init>(RpcProgramNfs3.java:172)
        at org.apache.hadoop.hdfs.nfs.nfs3.RpcProgramNfs3.<init>(RpcProgramNfs3.java:164)
        at org.apache.hadoop.hdfs.nfs.nfs3.Nfs3.<init>(Nfs3.java:41)
        at org.apache.hadoop.hdfs.nfs.nfs3.Nfs3.main(Nfs3.java:52)
14/05/22 10:59:45 INFO nfs3.Nfs3Base: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down Nfs3 at
************************************************************/

我怀疑这与以下Issue https://issues.apache.org/jira/browse/HDFS-5587有关,但是从此问题我不理解我需要采取什么措施。

最佳答案

以下票证中对此进行了记录,以下为变通办法:
https://issues.apache.org/jira/browse/HDFS-5587

在我的情况下,问题是sshd和ldap以及local框中都存在其他用户,但是UID不匹配。

NFS gateway can't start with duplicate name or id on the host system. This is because HDFS (non-kerberos cluster) uses name as the only way to identify a user or group. The host system with duplicated user/group name or id might work fine most of the time by itself. However when NFS gateway talks to HDFS, HDFS accepts only user and group name. Therefore, same name means the same user or same group. To find the duplicated names/ids, one can do: and on Linux systms, and on MacOS.

关于hadoop - Hadoop NFS无法启动Hadoop NFS网关,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/23812215/

相关文章:

apache-spark - 使用Spark在Qubole Metastore中设置分区位置

hadoop - Hive-UDF怎么了?如何设置Hive的 map 编号?

linux - 将 "Character Device"文件从 Windows Cygwin 传输到 Linux

c - 从文件中读取() - 阻塞与非阻塞行为

无法使用 hadoop fs -ls har ://hdfs-master/tank/zoo. har/查找 Hadoop 归档文件

linux - 如何使用 puppet 中的任何资源分别将 Windows 共享路径和 Linux 共享路径作为软件和 rpm 的源?

java - 安装 "cannot execute not a directory"时出现 Hadoop 错误

java - Hadoop用Java复制文件(无法创建文件)

file - 从 UNIX 更改 HDFS 文件创建日期

具有大 gzip 文件的 hadoop 策略