我在 Ubuntu AWS EC2 实例上运行的 python 脚本中有以下 block :
try:
data = json.loads(line)
# further processing of data
except Exception, e:
# something went bad
line
是从文本文件中提取的字符串。在大多数情况下,它会得到很好的处理。有时,我会收到冗长的台词。在这种情况下,脚本终止(“-9”)并且 dmesg -T
显示一条消息,如 [Tue Jan 8 16:10:48 2013] Out of memory: Kill process 13609 (python ) 得分 910 或牺牲 child
我不明白的是为什么它没有在 try-except
block 中捕获异常而不是崩溃。是否可以在此 block 中进行更改以使脚本不会崩溃但会引发异常?谢谢
最佳答案
您的 Python 进程正在被内核 OOM(内存不足) killer ( docs ) 杀死。这是用 SIGKILL
杀死 Python,因此 Python 没有任何机会响应此事件...因此它无法为您的代码生成任何异常。
您可能需要在具有更多资源的环境中运行您的进程(这样您就不会用完这么大比例的系统内存),或者您可能需要限制您可以使用的 JSON 数据的大小阅读。
我在下面发布的其中一个链接提到了 ijson ,这是一个迭代的 JSON 解析器。这可能比标准的 JSON 解析器更节省内存,但我还没有尝试过。
关于Ubuntu : how to catch out of memory exceptions? 上的 python ,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/14220347/