Hadoop fs -ls 命令获取前 10 个文件

标签 hadoop hdfs

我有一个像这样的 hadoop 命令:

hadoop fs -ls /user/hive/warehouse/mashery_db.db/agg_per_mapi_stats_five_minutes/ | sort | awk  '{ if (index($8, ".hive") == 0 && $6 <= "'"2016-02-10"'" && $7 <= "'"05:00"'") print $8 }'

我想从中获取前 10 个值,而不是获取目录中的所有文件。

最佳答案

就用

hadoop fs -ls /path/of/hdfs/location/ | head -10

那会起作用。

关于Hadoop fs -ls 命令获取前 10 个文件,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/35358425/

相关文章:

hadoop - 无法在kerberized集群上提交oozie作业

python - 扩展算法所需的概念和工具

hadoop - hadoop流错误

hadoop - 使用 pig 或 hive 将 CSV 数据加载到 HBase

hadoop - 为什么最后一个 reducer 在合并步骤期间因 java 堆错误而停止

java - 如何在Java应用程序中的Hive Shell上添加jar

hadoop - Java 映射减少 : how to store a list of LONGs in Hadoop Output

java - Hadoop 1.2.1:将jars放在hdfs中的类路径中

hadoop - DataNode不在从站之一中启动

hadoop - hadoop dfs -ls给出了本地文件系统中不存在的文件夹列表