我想设置任务JVM大小(Map任务和Reduce任务)，可以使用属性mapred.child.java.opts来完成。但我担心的是，我需要在哪里设置它。我可以在提交作业时使用 -D 选项设置它吗？或者我需要在每个节点的 mapred-site.xml 中设置此属性。
谢谢， 普里亚兰詹
最佳答案
您可以使用
-Dmapred.child.java.opts='-Xmx1024m'
在命令行上将任务内存设置为 1024 mib。
类似地，在作业的Java代码中，您可以将其设置为配置参数:
conf.set("mapred.child.java.opts", "-Xmx1024m");
关于hadoop - 增加 hadoop 任务 JVM 大小，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/24549755/