我有一个 Spark 流应用程序，直到昨天都运行得非常好，突然间遇到了这些警告。我有相同的环境并使用相同的代码。以下是警告:
05/09 17:13:03 INFO ExecutorAllocationManager: Requesting 16 new executors because tasks are backlogged (new desired total will be 31) 16/05/09 17:13:03 INFO ExecutorAllocationManager: Requesting 19 new executors because tasks are backlogged (new desired total will be 50)
16/05/09 17:13:12 WARN YarnScheduler:初始作业没有接受任何
资源;检查您的集群 UI 以确保工作人员已注册
并且有足够的资源
16/05/09 17:13:27 警告 YarnScheduler:初始作业尚未接受任何
资源;检查您的集群 UI 以确保工作人员已注册
并且有足够的资源
我在 cloudera 5.5 上使用 apache spark 1.6。快速启动虚拟机。集群上没有运行的应用程序来消耗可用资源。
有什么配置要做吗？
谢谢!
最佳答案
quickstart vm 旨在快速体验功能，并且可能配置为“适合盒子”而不是长期稳定性。
一般来说，我对沙箱和快速入门问题的建议是，如果需要，只需设置一个新的。
在这种特定情况下，快速入门适用于 CDH，其后继 (CDP) 已经出局。
CDP，Cloudera Data Platform是 CDH 和 HDP 的继承者。
如果您想查看最新版本，有一个试用版可以满足您可能想要使用快速入门的大多数目的。这个可以下载here .
完全披露:我是 Cloudera 的一名员工，该公司是 CDH 和 CDP 背后的公司。
关于apache-spark - 由于任务积压而请求执行者，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/37127399/