hadoop - Apache Ignite Hadoop Accelerator MapReduce作业不在JobHistory服务器中

标签 hadoop mapreduce ignite

我目前正在为MapReduce运行Apache Ignite Hadoop加速器。作业正在运行,但是在JobHistoryServer中看不到它们。我不希望看到Yarn的Resource Manager中的工作(也没有)。

我正在运行MapReduce作业,例如hadoop --config path/to/config/ jar path/to/jar ....
在mapred-site.xml中,我添加了

<property>
  <name>mapreduce.framework.name</name>
  <value>ignite</value>
</property>
<property>
  <name>mapreduce.jobtracker.address</name>
  <value>[your_host]:11211</value>
</property>

我的mapreduce.jobhistory。*设置尚未更改。

在core-site.xml中,我添加了
<property>
  <name>fs.default.name</name>
  <value>igfs://igfs@/</value>
</property>
<property>
  <name>fs.igfs.impl</name>
  <value>org.apache.ignite.hadoop.fs.v1.IgniteHadoopFileSystem</value>
</property>
<property>
  <name>fs.AbstractFileSystem.igfs.impl</name>
  <value>org.apache.ignite.hadoop.fs.v2.IgniteHadoopFileSystem</value>
</property>

我还向$ HADOOP_HOME路径添加了ignite-core-1.6.0.jar,ignite-hadoop-1.6.0.jar和ignite-shmem-1.0.0.jar。同样,我已经导出了HADOOP_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME和HADOOP_MAPRED_HOME。

Ignite不支持此功能吗,或者我做错了什么?

另外,有没有办法跟踪在Ignite上运行的MapReduce作业?

最佳答案

当前,Ignite仍未与Hadoop历史记录服务器集成,请发出https://issues.apache.org/jira/browse/IGNITE-3766请求。

关于hadoop - Apache Ignite Hadoop Accelerator MapReduce作业不在JobHistory服务器中,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/39088131/

相关文章:

Hadoop 缓冲与流式传输

java - Hadoop MapReduce 使用键对归约输出进行排序

python - 有类似 DatastoreOutputWriter 的东西吗?

java - 如何从Hadoop集群复制文件到本地文件系统

c# - Apache 点燃,C# : Thin Client unable to connect to server node

redis - 在 Ignite 上使用 Redis 协议(protocol)

hadoop - HIVE线的意义

hadoop - 如何在 pig latin 的日期时间范围内创建丢失的记录

hadoop - 如何从 Hadoop 的 Pig 处理的文件中修剪标题行?

apache-spark - Apache Ignite 是否适合我的用例(加载 oracle 表进行缓存,在这些表之间进行联接,并反射(reflect)对 oracle 数据的更改)