java - Pig UDF 将文件写入 HDFS

标签 java hadoop hdfs apache-pig

我想通过 Pig UDF 读取一个完整的文件,然后使用 Java 中的 PrintWriter 库准备一个输出文件并将其存储在 HDFS 上。

这可能吗,

遵循的步骤

1) 我能够读取 UDF 中的输入文件。从该文件准备一个 HashMap。[已实现]

2) 通过过滤输入文件将数据写入输出文件。使用 HashMap 完成过滤[YET TO BE ACHIEVED]

任何人都可以在我的步骤 2 中提供帮助。

目的是在 Pig UDF 中创建一个文件并写入该文件。

谢谢,

问候, Dheeraj Rampally。

最佳答案

没问题...我已经找到了替代方案...我现在不再写入文件,而是从 Pig UDF 返回一个数据包

关于java - Pig UDF 将文件写入 HDFS,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/19481227/

相关文章:

java - JNA/ByteBuffer 未被释放并导致 C 堆内存不足

java - 任务 com.google.firebase.a.v 被 java.util.concurrent.ThreadPoolExecutor 拒绝

C# HDInsight MapReduce 将参数传递给映射器

hadoop - 无法连接到本地主机上的hdfs

linux - 如何完全更改每个 Hadoop DataNode 上的底层磁盘?

hadoop - Spark 任务如何访问 HDFS?

java - 如何更改(数据库)变量中的 jspinner 日期最小值和最大值?

Java/Scala 有界泛型和类型推断不匹配

eclipse - Ubuntu 12.04 - Eclispe 3.8- hadoop-1.2.1- 输入路径不存在

hadoop - map() 函数的调用次数与 MR Job 发出的 map 任务数之间的关系