java - Oozie > Java 操作 > 为什么属性 oozie.launcher.mapred.child.java.opts 不起作用

标签 java hadoop mapreduce oozie

我正在使用 Java 操作开发 Oozie。 Java 操作应使用 Java 选项 -Xmx15g。因此,我将属性 oozie.mapreduce.map.memory.mb 设置为 25600 (25G),以防需要一些额外的内存。

在这个简单的设置之后,我运行了 Oozie 作业,然后在 Java 运行时当然出现了 OutofMemory(堆空间不足)错误。

因此,我根据链接在 Java 操作的属性节点中相应地将 oozie.launcher.mapred.child.java.opts 设置为 -Xmx15g:http://downright-amazed.blogspot.fi/2012/02/configure-oozies-launcher-job.html .但我仍然遇到同样的 OutofMemory 错误。然后我尝试将 -Xmx15g 添加到 Java 操作节点内的节点 java-opts。这工作正常,但如果是这样,到底还有属性 oozie.launcher.mapred.child.java.opts 是怎么回事?

有人知道为什么会这样吗?请就为什么会这样给出一些评论。提前致谢。

我真的觉得Oozie不是一个好用的工具。

最佳答案

我不确定 mapred.child.java.opts 中的“任务”是什么意思

尝试使用 mapreduce.map.java.opts,如本例所示:

<configuration>
    <property>
      <name>oozie.launcher.mapreduce.map.memory.mb</name>
      <value>16384</value>
    </property>
    <property>
      <name>oozie.launcher.mapreduce.map.java.opts</name>
      <value>-Xmx15g</value>
    </property>
    <property>
      <name>oozie.launcher.yarn.app.mapreduce.am.resource.mb</name>
      <value>768</value>
    </property>
    <property>
      <name>oozie.launcher.yarn.app.mapreduce.am.command-opts</name>
      <value>-Xmx512m</value>
    </property>
    <property>
      <name>oozie.launcher.mapred.job.queue.name</name>
      <value>default</value>
    </property>
</configuration>

关于java - Oozie > Java 操作 > 为什么属性 oozie.launcher.mapred.child.java.opts 不起作用,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/33961310/

相关文章:

hadoop - hadoop集群:hadoop流映射任务仅在一台主机上运行,​​而不在从属服务器上运行

java - 连接数组的两个元素以创建新的数组元素

java - 我必须编写自己的异常吗? - java

hadoop - 当调用Apache Crunch管道在两个不同的源上读取两次时会发生什么?

hadoop - to_utc_timestamp 是否考虑夏令时?

hadoop - Flume-ng hdfs 安全

java - 在整个 Java 应用程序中捕获异常

java - Spring Boot 搜索两个日期之间的数据

python - 有没有办法在 Hadoop 管理 Web 界面中指定 mrjob 的作业标题?

mongodb - MongoDB的mapreduce和Hadoop之间有什么异同?