我想创建一个Oozie工作流程,以将HDFS文件从HDFS群集传输到另一台服务器。
由于Oozie可以在系统中的任何节点上运行命令或脚本,因此可以在其中一个节点上运行Shell脚本或SFTP并将文件传输到目标服务器。
最佳答案
我认为可以通过在远程服务器上对HDFS文件执行http GET(open operation)来轻松完成此任务(可以使用curl
)。
无论如何,如果您想通过Oozie进行操作,我想您可以创建一个脚本来负责将所需文件从HDFS移至本地文件系统,然后执行scp
以便将文件在本地文件系统中移至远程文件系统。
关于hadoop - 从群集到另一台计算机的HDFS文件FTP,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/29731560/