giraph 作业完成后,内存不会被释放

标签 memory hadoop giraph

我在 Hadoop 版本 0.20.203 上使用 Apache Giraph 版本 1.0。它执行ConnectedComponentsVertex和SimpleShortetPathsVertex,apache giraph的例子,作业成功,但存在问题。作业完成后不会释放内存。如系统监视器所示,为该作业创建的 java 进程仍然有效。我不明白为什么会出现这个问题。是 Giraph 的错误还是我做错了什么??? 我正在使用 Ubuntu 11.10 和 java 1.6。任何帮助将不胜感激。

谢谢

最佳答案

是的,我认为这是一个错误(请参阅我在用户列表上的问题:https://mail-archives.apache.org/mod_mbox/giraph-user/201403.mbox/%3COF416E2CF4.1613A751-ON86257C9F.00498FA5-86257C9F.0049D454@us.ibm.com%3E)。我绕过它的方法是在工作完成后向所有 worker 发送杀戮:

ssh worker-name "kill -9 \$(ps aux | grep \"[j]obcache/job_[0-9]\{12\}_[0-9]\{4\}/\" | awk '{print \$2}')"

关于giraph 作业完成后,内存不会被释放,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/22940016/

相关文章:

C++ 无锁模板化对象池

hadoop - 总结 Pig 中的值

hadoop - Apache Giraph的数组顶点值

Python:在内存中存储 token

c++ - VirtualAlloc 失败

linux - 找出哪个进程正在使用共享内存

java - 在 PIG 中合并多重关系

java - Hadoop 选项没有任何效果(mapreduce.input.lineinputformat.linespermap、mapred.max.map.failures.percent)

java - 无法找到或加载主类 org.apache.giraph.yarn.GiraphApplicationMaster

java - 在修改后的 SimpleShortestPathsVertex 上运行 GiraphRunner 的 ClassNotFoundException