hadoop - 从群集到另一台计算机的HDFS文件FTP

标签 hadoop hdfs sftp oozie oozie-coordinator

我想创建一个Oozie工作流程,以将HDFS文件从HDFS群集传输到另一台服务器。

由于Oozie可以在系统中的任何节点上运行命令或脚本,因此可以在其中一个节点上运行Shell脚本或SFTP并将文件传输到目标服务器。

最佳答案

我认为可以通过在远程服务器上对HDFS文件执行http GET(open operation)来轻松完成此任务(可以使用curl)。

无论如何,如果您想通过Oozie进行操作,我想您可以创建一个脚本来负责将所需文件从HDFS移至本地文件系统,然后执行scp以便将文件在本地文件系统中移至远程文件系统。

关于hadoop - 从群集到另一台计算机的HDFS文件FTP,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/29731560/

相关文章:

hadoop - HDFS 小文件

c# - 使用 HttpWebRequest 传输到 ftp 站点

java - 为什么 JSch ChannelSftp 返回 "Handle closed"?

hadoop - 当并非所有副本都可以存储在集群上时,将文件存储在 Hadoop 上

hadoop - 运行简单的hadoop程序时获取类强制转换异常

hadoop - 将 DataStage 代码逆向工程到 Pig(用于 Hadoop)

hadoop - ContainerLaunchContext.setResource() 缺少 hadoop yarn

hadoop - 将文件从远程 Unix 和 Windows 服务器复制到 HDFS,无需中间暂存

linux - 结合 HBase 和 HDFS 导致 makeDirOnFileSystem 异常

java - Apache Camel FTP 错误