Hadoop:不推荐使用 dfs 但找不到 hdfs 类

标签 hadoop hdfs

我是 Hadoop 的新手,正在尝试检查 HDFS 中有哪些数据可用。但是,dfs 命令返回一个响应,指示该类已弃用,应使用 hdfs:

-bash-4.2$ hadoop dfs -ls
DEPRECATED: Use of this script to execute hdfs command is deprecated.
Instead use the hdfs command for it.

ls: `.': No such file or directory

但是,当我尝试使用 hdfs 命令时,我得到了一个 Java 类查找错误:

-bash-4.2$ hadoop hdfs -ls
Error: Could not find or load main class hdfs

我的 Hadoop 设置有问题吗,或者其他人是否遇到过这个 catch-22?

最佳答案

hadoop fs或者hdfs dfs,然后是-ls

您可以运行 hdfs dfs -ls/ 来检查 HDFS 的根目录,但是您会得到 .: No such file or directory 因为 的输出echo "hdfs:///user/$(whoami)" 还不存在,你需要使用 hadoop fs -mkdir -p hdfs:///user/$(whoami)

必须为每个尝试访问其 HDFS 用户目录的用户帐户重复该命令

关于Hadoop:不推荐使用 dfs 但找不到 hdfs 类,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/50939070/

相关文章:

hadoop - 底层目录更改时Hive表能否自动更新

java - 如何使用 `org.apache.hadoop.io.Text` 创建 SequenceFiles ?

hadoop - HBASE中的SingleColumnValueFilter给出错误

hadoop - 使用 mapreduce 在 hadoop 中比较文件

hadoop - 使用hadoop的并行机器学习(推荐)算法

hadoop - 从s3导入压缩(gzip)数据到配置单元

java - hbase dns 连接错误或可能是 ipv6

hadoop - 将变量传递给oozie case部分不起作用

hadoop/HDFS : Is it possible to write from several processes to the same file?

python - hadoop文件系统打开文件并跳过第一行