java - PigServer 在本地文件系统上留下作业 jar

标签 java apache-pig

我在 java 应用程序中使用 Pig。目前我有一个线程每 15 分钟运行一次 pig 查询。每次运行后,我的临时文件夹中都会留下 MR Job Jar,在我的例子中是/tmp。

代码的结构方式是在启动时创建 1 个 PigServer 实例。然后在循环中,我使用不同的分区重新注册查询,并通过 openIterator 调用执行查询。在线程关闭之前,PigServer 不会关闭。

所以我的问题是我需要执行一个调用来清理 jar 吗?或者我是否需要在每次执行时关闭 PigServer?或者我应该在查询完成后自己清理FS?

最佳答案

看来您确实需要在每次使用后创建和销毁 PigServer 对象来清理 tmp 空间中的 pig* 目录。然而,这似乎并没有清理作业 jar 。所以我必须建立自己的清理功能来处理这个问题。

关于java - PigServer 在本地文件系统上留下作业 jar,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/12711419/

相关文章:

hadoop - pig 错误 1066 : Unable to open iterator for alias test

hadoop - 从哪里获取大数据管道的示例数据和查询?

csv - 避免 Pig 中的 ToDate 中个别行出现异常

java - 优化 Java 对象以提高 CPU 缓存行效率

java - Android套接字客户端 - 无法发送消息

java - 我需要测试类中的测试方法吗

date - 使用 Pig 提取季度数据

json - 错误1066:无法打开别名的迭代器-PIG SCRIPT

java - 使用列表/字符串单击并下拉值

java - 常规 If 语句中的奇怪 Java 问题