我想知道您是否设置mapred.child.java.opts选项，它是否设置了每个工作节点或每个映射/减少插槽的内存量？
例如mapred.child.java.opts=Xmx2000m，每个节点或插槽大约2 GB吗？
谢谢
最佳答案
通常，可以为每个节点或每个作业设置mapred.child.java.opts。
因此，假设您在一个节点上同时运行mapper的(mapred.tasktracker.map.tasks.maximum)+ reducer的(mapred.tasktracker.reduce.tasks.maximum)为12，则mapred.child.java.opts确定该节点为子进程使用了多少RAM。
例如:
mapred.tasktracker.map.tasks.maximum = 10
mapred.tasktracker.reduce.tasks.maximum = 2
mapred.child.java.opts = -Xmx256m
total ram used by child processes = (10 + 2) * 256m =~ 3GB
关于hadoop - AWS EMR:是否为每个插槽或每个节点设置了 “mapred.child.java.opts”选项？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/28195882/