python - 为什么我的PySpark程序会卡在中间如下

Question

我写了一个 PySpark 程序，当我运行它时，它打印了很多输出然后突然挂起并在屏幕上显示以下语句

[Stage 11:===================================>                   (65 + 1) / 100]

它根本没有从这里开始。是程序真的结束了还是这里出了什么问题？

Answer 1

当您使用 Apache Spark 时，这很常见，可能有几个问题或异常没有显示在终端中，但是要调试它，您可以阅读运行时发生的情况，但是 取决于您当前安装的 Apache Spark(这就是我不发布链接的原因)，您可以在此文档上找到更多信息。 Monitoring and Logging in Apache Spark

你必须搜索这个WebUI，在Description栏你可以点击+ details(你需要点击您将调试的作业)，如果您继续前进，您会发现越来越多的信息。