java - Apache Pig在AWS EMR Hadoop集群中无输出

标签 java hadoop amazon-web-services apache-pig aws-ec2

我是AWS Hadoop集群的新手。

我通过带有Pig 0.14.0的EMR部署了Hadoop集群。

我调用了一个UDF,它具有一些到标准输出(System.out.println())的输出。

但是,在管道成功完成之后,我的UDF没有任何输出。

我也尝试过stderrfile stream

但是仍然没有输出。

有没有人遇到过同样的问题?

怎么处理呢?

最佳答案

您的UDF在群集的各个节点上运行,并且UDF System.out调用将出现在该节点的stdout日志中。它们不会被打印到您的Pig日志中。

您可以从资源管理器访问这些日志,可以通过AWS EMR控制台最轻松地找到它们。您可以在此处找到有关如何启用访问权限的说明。

关于java - Apache Pig在AWS EMR Hadoop集群中无输出,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/36394967/

相关文章:

node.js - 在 AWS 中部署和运行 Docker

amazon-web-services - 调用 Lambda 函数的 aws boto3 unittest 函数

java - 一个消费者多个主题会导致潜在的线程问题吗?

hadoop - 谁在hadoop中拆分文件?是工作追踪器吗?

hadoop - 大数据和数据挖掘有什么区别?

amazon-web-services - 导入 SSL AWS 证书管理器 - 不能导入多个证书

java - Android 从 eclipse 安装应用程序不工作

java - 当以 ListView 显示个人资料信息时,为什么屏幕上没有显示任何内容,只有背景?

java - 根据键列表过滤 map

hadoop - 如何强制顺序处理文件内容?