hadoop - 在 PIG UDF 中调试

标签 hadoop apache-pig hdfs

我是 Hadoop/PIG 的新手。 我有一个基本问题。

我们在 PIG UDF 中有日志工具吗?我写了一个 UDF,我需要验证 我需要记录某些语句来检查流程。是否有可用的日志记录工具?如果是,Pig 日志在哪里?

最佳答案

假设您的 UDF 扩展了 EvalFunc,您可以使用从 EvalFunc.getLogger() 返回的记录器.日志输出应该在 pig 执行的关联 Map/Reduce 任务中可见(如果作业在多个阶段执行,那么您将不得不从中挑选以找到关联的日志条目)。

关于hadoop - 在 PIG UDF 中调试,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/11005004/

相关文章:

hadoop - 没有 Map/Reduce 的 HDFS 分布式读取

java - 使用java程序合并hdfs中的文件

hadoop - 在 Hadoop 分布式缓存中重用文件

hadoop - 映射器内组合以及映射器的清理例程何时执行?

hadoop - Apache Pig:在foreach引用顶级字段内应用LIMIT

hadoop - 失败的 map task 超出允许的限制,并显示错误:org.apache.pig.data.Typle.isNull()Z

java - 如何在 Ubuntu 中编译和执行这个 JAVA 应用程序?

hadoop - 谷歌计算引擎为 hadoop 仪表板添加防火墙规则

maven - 在本地Maven存储库中发布hadoop的安装

exception - 使用 Clojure 处理异常