linux - 如何将 hdfs 文件复制到另一台服务器 [linux]

标签 linux hdfs

是否有命令可以将文件从 HDFS 复制到另一个 linux 框。

集群是安全的。

我希望copyToLocal 将复制集群内的文件,实际上我想复制集群外的文件。

最佳答案

您可以使用 WebHDFS 将文件复制到本地计算机。参见此处的示例:http://hortonworks.com/blog/webhdfs-%E2%80%93-http-rest-access-to-hdfs/ .

由于您的集群是安全的(我想使用 Kerberos),您将需要获得 Kerberos 票证(使用 kinit),并添加如下标志:-udummy:dummy --negotiate 到你的 curl 命令。

关于linux - 如何将 hdfs 文件复制到另一台服务器 [linux],我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/33477135/

相关文章:

linux - sonarqube 的 Docker 内存泄漏

hadoop - 如何检查HDFS上文件的格式?

postgresql - 如果在高负载场景下使用 HDFS 作为文件系统部署 PostgreSQL 会怎样?

python - 使用 python subprocess.call 将 fasta 序列的计数写入文件

linux - 如何使用 Linux bash 脚本从浏览器(即 Google Chrome)中提取实际打开页面的 URL?

linux - Linux Shell 脚本的奇怪行为

java - Hadoop HDFS 部署

Hadoop kerberos 票据自动更新

azure - Flume 写入文件时 HDFS ls 显示文件大小为 0

c++ - 如何在所有平台上使用 C++ 程序显示重音字符?