当我在 cdh 集群上启动 H2o 时,出现以下错误。我从他的网站下载了所有内容并按照教程进行操作。我运行的命令是
hadoop jar h2odriver.jar -nodes 2 -mapperXmx 1g -output hdfsOutputDirName
表示容器没有被使用。目前尚不清楚这些将在 hadoop 上进行哪些设置。我已经给了所有设置内存。内存的 0.0 没有意义,为什么容器不使用内存。集群现在是否正在运行?
----- YARN cluster metrics -----
Number of YARN worker nodes: 3
----- Nodes -----
Node: http://data-node-3:8042 Rack: /default, RUNNING, 1 containers used, 1.0 / 6.0 GB used, 1 / 4 vcores used
Node: http://data-node-1:8042 Rack: /default, RUNNING, 0 containers used, 0.0 / 6.0 GB used, 0 / 4 vcores used
Node: http://data-node-2:8042 Rack: /default, RUNNING, 0 containers used, 0.0 / 6.0 GB used, 0 / 4 vcores used
----- Queues -----
Queue name: root.default
Queue state: RUNNING
Current capacity: 0.00
Capacity: 0.00
Maximum capacity: -1.00
Application count: 0
Queue 'root.default' approximate utilization: 0.0 / 0.0 GB used, 0 / 0 vcores used
----------------------------------------------------------------------
WARNING: Job memory request (2.2 GB) exceeds queue available memory capacity (0.0 GB)
WARNING: Job virtual cores request (2) exceeds queue available virtual cores capacity (0)
----------------------------------------------------------------------
For YARN users, logs command is 'yarn logs -applicationId application_1462681033282_0008'
最佳答案
您应该设置您的默认队列以获得可用资源来运行 2nodes 集群。
查看警告:
警告:作业内存请求 (2.2 GB) 超过队列可用内存容量 (0.0 GB)
- 您要求每个节点 1GB(+开销),但 YARN 队列中没有可用资源
警告:作业虚拟核心请求 (2) 超出队列可用虚拟核心容量 (0)
- 您要求 2 个虚拟核心,但默认队列中没有可用核心
请查看 YARN 文档 - 例如容量调度程序和最大可用资源的设置: https://hadoop.apache.org/docs/r2.4.1/hadoop-yarn/hadoop-yarn-site/CapacityScheduler.html
关于hadoop - 在 YARN 上启动的 h2o 不起作用,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/37096589/