我试图运行一个长时间运行的 Spark 作业。执行几个小时后,出现以下异常:
Caused by: java.io.IOException: Failed to create local dir in /tmp/blockmgr-bb765fd4-361f-4ee4-a6ef-adc547d8d838/28
试图通过检查来绕过它:
/tmp 目录中的权限问题。 spark 服务器未以 root 身份运行。但是/tmp 目录应该对所有用户都是可写的。
/tmp目录有足够的空间。
最佳答案
假设您正在使用多个节点,您需要检查参与 spark 操作的每个节点(master/driver + slaves/nodes/workers)。
请确认每个 worker/node 有足够的磁盘空间(特别是检查/tmp 文件夹)和正确的权限。
关于hadoop - Spark - java IOException :Failed to create local dir in/tmp/blockmgr*,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/41238121/