hadoop - 将 pig 结果存储到本地文件

标签 hadoop apache-pig

我运行 pig 脚本做了一些夸张的操作,输出大小非常小。

现在我跑

hadoop fs -getmerge ...

分开。

有什么办法可以让pig脚本直接把结果转存到本地文件吗?

最佳答案

如果您不担心将所有内容合并到一个文件中,那么您可以在 grunt (http://wiki.apache.org/pig/Grunt) 中使用 copyToLocal 命令:

grunt> copyToLocal <src> <dest>

关于hadoop - 将 pig 结果存储到本地文件,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/13685418/

相关文章:

hadoop - YARN Mapreduce作业中的AccessControlException

hadoop - 在 Hive 中创建外部 Avro 表时,Sqoop 导入为 Avro 数据文件时将所有值都设为 NULL

hadoop - 在 pig 脚本中定义元组数据

hadoop - 启动 Pig 作业时出现 oozie 错误

hadoop - 如何在 Hadoop 中的机器之间传输文件并使用 Pig 搜索字符串

hadoop - 使用 pig 计算并查找 Hadoop 中的最大数量

hadoop - pig 工作总是失败

hadoop - 覆盖默认的JVM重用值

hadoop - 如何在 Hadoop Mapreduce 作业中访问分布式缓存?

database - 用于数据库访问的 PIG 拉丁文脚本