当我打开jobtrackerhosthost:50030 / jobtracker.jsp
我可以看到堆大小如下:
群集摘要(堆大小为1.17 GB / 7.99 GB)
它在继续增加。 3-5天后,它会达到顶峰。
我们有2个Hadoop集群。
在群集A上,堆大小在峰值附近停止增加。
在群集B上,堆大小在3-5天后继续增加,而作业跟踪程序减小了。 (过程消失了)
现在,我真的很想知道为什么堆大小会继续增加?是正常的还是问题?
谢谢,
新松
最佳答案
@vefthym,我认为mapred-site.xml文件不完整,因为hadoop集群是由Cloudera Manager管理的。
这是mapred-site.xml中的内容
<?xml version="1.0" encoding="UTF-8"?>
<!--Autogenerated by Cloudera CM on 2013-07-01T01:39:46.361Z-->
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://xxxx.com:8020</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>65536</value>
</property>
<property>
<name>io.compression.codecs</name>
<value>org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.BZip2Codec,org.apache.hadoop.io.compress.DeflateCodec,org.apache.hadoop.io.compress.SnappyCodec,org.apache.hadoop.io.compress.Lz4Codec</value>
</property>
<property>
<name>hadoop.security.authentication</name>
<value>simple</value>
</property>
<property>
<name>hadoop.rpc.protection</name>
<value>authentication</value>
</property>
<property>
<name>hadoop.security.auth_to_local</name>
<value>DEFAULT</value>
</property>
</configuration>
关于apache - Hadoop JobTracker内存使用率增加v,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/21692893/