想要将文件从远程服务器复制到hadoop而不复制到边缘节点。
1.在下面的文章中，我们可以分两步来完成此操作:首先对本地边缘节点执行scp，然后执行hdfs fs命令从边缘节点移至hdfs
https://community.cloudera.com/t5/Support-Questions/Import-data-from-remote-server-to-HDFS/td-p/233148
2.在下面的文章中我们可以做ssh cat，但是我们有.gz这样的文件，不能是CAT
putting a remote file into hadoop without copying it to local disk
但是我正在寻找第三个选项，在这里我们可以用scp代替ssh CAT并复制到hadoop而无需复制到Edge节点。
最佳答案
Hadoop没有SCP上传功能。
如果您想在没有边缘节点或SSH的情况下获取文件，那么这就是WebHDFS或NFSGateway提供的功能
关于unix - 将远程文件scp转换为hadoop，而不将其复制到边缘节点，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/60328418/