linux - 如何使用单个命令在 hadoop 中创建多个目录?

标签 linux hadoop hadoop2

我想每年创建 365 个文件夹。我在下面添加了我尝试过的内容供您引用。请建议我在 hadoop 2 中一次性创建多个文件夹。

hdfs dfs -mkdir /mnt/hadoop/Ram/Birla/home/inside/{dt=2016-11-01,dt=2016-11-02,dt=2016-11-03,dt=2016-11-04,dt=2016-11-05,dt=2016-11-06,dt=2016-11-07,dt=2016-11-08,dt=2016-11-09,dt=2016-11-10,dt=2016-11-11,dt=2016-11-12,dt=2016-11-13,dt=2016-11-14,dt=2016-11-15,dt=2016-11-16,dt=2016-11-17,dt=2016-11-18,dt=2016-11-19,dt=2016-11-20,dt=2016-11-21,dt=2016-11-22,dt=2016-11-23}

最佳答案

您可以编写一个 shell 脚本,从“2016-01-01”上的一个变量开始,然后循环递增它直到年底,同时在循环内执行您的命令。像这样:

FIRST_DAY="2016-01-01"
for i in {0..364}
do
   DAY=$(date +%m-%d-%Y -d "$FIRST_DAY + $i day")
   hdfs dfs -mkdir /mnt/hadoop/Ram/Birla/home/inside/$DAY
done

参见 How to increment a date in a bash script

关于linux - 如何使用单个命令在 hadoop 中创建多个目录?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/40761942/

相关文章:

linux - Matlab 二进制文件不接受其在 shell 中的输入值

regex - RegEx从管道定界字符串中提取值

java - Hadoop 在 Ubuntu 14 上安装 2.6.0 - Java 错误

java - MapReduce:在“自定义输入格式”程序中未调用Reducer。尽管配置了自定义 reducer ,但身份 reducer 被称为

c - 使用 USB2 连接的 ext2 卷改善小文件读取时间

linux - 我不明白我的 xmonad.hs 配置中的 Haskell 解析错误?

linux - bash : ./loopy :/lib/ld-linux. so.2:错误的 ELF 解释器:没有这样的文件或目录

hadoop - Oozie子工作流程操作

maven - Hadoop核心的Maven Central与Cloudera存储库

hadoop - 使用 ArrayWritables 时出现问题