我是AWS Hadoop集群的新手。
我通过带有Pig 0.14.0的EMR部署了Hadoop集群。
我调用了一个UDF,它具有一些到标准输出(System.out.println()
)的输出。
但是,在管道成功完成之后,我的UDF没有任何输出。
我也尝试过stderr
和file stream
。
但是仍然没有输出。
有没有人遇到过同样的问题?
怎么处理呢?
最佳答案
您的UDF在群集的各个节点上运行,并且UDF System.out调用将出现在该节点的stdout日志中。它们不会被打印到您的Pig日志中。
您可以从资源管理器访问这些日志,可以通过AWS EMR控制台最轻松地找到它们。您可以在此处找到有关如何启用访问权限的说明。
关于java - Apache Pig在AWS EMR Hadoop集群中无输出,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/36394967/