unix - 将多个文件从本地 unix 移动到 HDFS

标签 unix hadoop hdfs cloudera

我的 unix 目录中有几个文件,我必须将它们移动到 Hadoop。我知道 copyFromLocal 命令:

Usage: hadoop fs -copyFromLocal URI but that allows me to move one by one.

有没有办法通过一个命令将所有这些文件移动到 HDFS?

我想知道是否有办法一次传输多个文件

最佳答案

put 命令将起作用

如果你想将整个目录从本地复制到hdfs

hadoop fs -put /path1/file1 /pathx/target/

如果你想一次性将目录下的所有文件复制到hdfs

hadoop fs -put /path1/file1/* /pathx/target/

关于unix - 将多个文件从本地 unix 移动到 HDFS,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/58329022/

相关文章:

unix - *nix 语言环境设置中 zh_CN.UTF-8 和 en_US.UTF-8 有什么不同?

c - 如何让一个子进程等待它的兄弟?

hadoop - 在 Hive 中导入带有 key=value 对的平面文件

linux - 在 shell 中获取 YYYYMMDD_HHMMSS.csv.gz 格式的最新文件

unix - 使用 ed 添加文本到文件中特定行的末尾

r - centos无法安装rhdfs

hdfs - hadoop 删除零字节的文件

hadoop - pig 示例 apache [输入路径不存在]

hadoop - 为什么cloudera 5.12 vm中的默认复制因子为1,而先前版本中的默认复制因子为3?

scala - 为什么 Spark reduceByKey 的结果不一致