javascript - 在hdp 2.3.4.7-4中，使用REST API提交作业时出现两个应用程序

Question

我在大学项目中使用Hadoop，并且正在构建用于演示目的的应用程序。我决定使用REST API，因为我将进行远程演示。
我正在尝试使用JSON查询来运行'wordcount'示例，它似乎工作正常。

我的问题是，为什么Hadoop启动两个应用程序，请参见图片:



我提交了应用程序:“application_1427474834422_0076”，然后另一个启动。这是正常行为吗？还有什么。进度栏未一直保持在18.2％的水平，最终失败

这是我使用的JSON查询

{
  "application-id": "application_1471255114270_0082",
  "application-name": "wordcount",
  "am-container-spec": {
    "local-resources": {
      "entry": [{
        "key": "hadoop-mapreduce-examples.jar",
        "value": {
          "resource": "hdfs://10.2.45.38:8020/applications/MapReduce/hadoop-mapreduce-examples.jar",
          "type": "FILE",
          "visibility": "APPLICATION",
          "size": "273458",
          "timestamp": "1470646121574"
        }
      }]
    },
    "commands": {
      "command": "/usr/java/jdk1.7.0_71/bin/java -Xmx10m org.apache.hadoop.util.RunJar hadoop-mapreduce-examples.jar wordcount hdfs://10.2.45.38:8020/demo.txt hdfs://10.2.45.38:8020/output  1>/tmp/mrtest.stdout 2>/tmp/mrtest.stderr"
    },
    "environment": {
      "entry": [{
        "key": "CLASSPATH",
        "value": "/usr/hdp/2.3.4.7-4/hadoop/etc/hadoop<CPS>/usr/hdp/2.3.4.7-4/hadoop/*<CPS>/usr/hdp/2.3.4.7-4/hadoop/lib/*<CPS>/usr/hdp/2.3.4.7-4/hadoop/client/*<CPS>/usr/hdp/2.3.4.7-4/hadoop-mapreduce/*<CPS>/usr/hdp/2.3.4.7-4/hadoop-mapreduce/lib/*<CPS>/usr/hdp/2.3.4.7-4/hadoop-hdfs/*<CPS>/usr/hdp/2.3.4.7-4/hadoop-hdfs/lib/*<CPS>/usr/hdp/2.3.4.7-4/hadoop-yarn/*<CPS>/usr/hdp/2.3.4.7-4/hadoop-yarn/lib/*<CPS>/lib/*"
      }]
    }
  },
  "unmanaged-AM": "false",
  "max-app-attempts": "2",
  "resource": {
    "memory": "1024",
    "vCores": "1"
  },
  "application-type": "MAPREDUCE",
  "keep-containers-across-application-attempts": "false"
}

谢谢你的时间。

Answer 1

我已经看到有多个应用程序开始使用，例如与 pig 工作或oozie工作。因此，这并不令我感到奇怪。

但是，您的屏幕截图中有些奇怪:您的应用程序似乎已接受状态(而不是运行)。因此，令人惊讶的是，它根本没有任何进展，因为人们通常会期望在作业开始运行后就可以建立该进展。

我的建议:仅调试失败的应用程序，而不必担心同时创建2个事实。

这个问题有点超出范围，但是如果您发现它陷于“已接受”状态，通常会检查是否有足够的能力来开始新工作。 (查看内存和容器数)。