免责声明:我是Hadoop和Apache Ignite的新手。很抱歉提供了冗长的背景信息。
设置:
我已经安装并配置了Apache Ignite Hadoop Accelerator。 Start-All.sh会启动以下服务。我可以提交Hadoop工作。他们完成了，我可以看到预期的结果。开头全部使用传统的核心站点，hdfs站点，mapred站点和yarn站点配置文件。
28336 NodeManager
28035 ResourceManager
27780 SecondaryNameNode
27429 NameNode
28552 Jps
27547 DataNode
我还安装了Apache Ignite 2.6.0。我能够启动点火节点，并使用Web控制台连接到它。我能够从MySQL加载缓存，并针对该缓存运行SQL查询和Java程序。
为了使用点燃的Hadoop运行Hadoop作业，我创建了一个单独的ignite-config目录，其中已按照Apache ignite网站中的说明自定义了核心站点和映射站点配置。
问题:
当我使用以下命令运行Hadoop作业时:
hadoop --config ~/ignite-conf jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.0.jar wordcount input output1
我收到以下错误(注意，同一作业已成功针对Hadoop运行/未点燃):
java.io.IOException:无法获取新的作业ID。
...
...
原因:类org.apache.ignite.internal.client.GridClientDisconnectedException:最新的拓扑更新失败。
...
...
原因:类org.apache.ignite.internal.client.GridServerUnreachableException:无法连接到列表中的任何服务器:[/:13500]
...
...
似乎已尝试查找jobtracker(13500)，但找不到。从上面的服务列表中，很明显作业跟踪器没有运行。但是，在YARN上未点燃的Hadoop上，该工作进行得很好。
你能帮忙吗？
最佳答案
就我而言，这已解决。
作业跟踪程序在这里意味着Apache Ignite内存缓存服务在端口11211上进行侦听。
在mapred-site.xml中进行此更改后，作业就运行了!
关于hadoop - 使用Apache Ignite Hadoop加速器提交Hadoop作业，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/51671582/