我目前正在为MapReduce运行Apache Ignite Hadoop加速器。作业正在运行,但是在JobHistoryServer中看不到它们。我不希望看到Yarn的Resource Manager中的工作(也没有)。
我正在运行MapReduce作业,例如hadoop --config path/to/config/ jar path/to/jar ....
在mapred-site.xml中,我添加了
<property>
<name>mapreduce.framework.name</name>
<value>ignite</value>
</property>
<property>
<name>mapreduce.jobtracker.address</name>
<value>[your_host]:11211</value>
</property>
我的mapreduce.jobhistory。*设置尚未更改。
在core-site.xml中,我添加了
<property>
<name>fs.default.name</name>
<value>igfs://igfs@/</value>
</property>
<property>
<name>fs.igfs.impl</name>
<value>org.apache.ignite.hadoop.fs.v1.IgniteHadoopFileSystem</value>
</property>
<property>
<name>fs.AbstractFileSystem.igfs.impl</name>
<value>org.apache.ignite.hadoop.fs.v2.IgniteHadoopFileSystem</value>
</property>
我还向$ HADOOP_HOME路径添加了ignite-core-1.6.0.jar,ignite-hadoop-1.6.0.jar和ignite-shmem-1.0.0.jar。同样,我已经导出了HADOOP_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME和HADOOP_MAPRED_HOME。
Ignite不支持此功能吗,或者我做错了什么?
另外,有没有办法跟踪在Ignite上运行的MapReduce作业?
最佳答案
当前,Ignite仍未与Hadoop历史记录服务器集成,请发出https://issues.apache.org/jira/browse/IGNITE-3766请求。
关于hadoop - Apache Ignite Hadoop Accelerator MapReduce作业不在JobHistory服务器中,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/39088131/