我担任 hadoop 管理员和开发人员。我们有一个 CDH 分布的集群。有多个团队使用集群，并且用户不会主动终止 Spark shell session 或 jupyter Notebook session 。
不要询问用户我的想法，而是可以在代码中设置空闲超时或自动关闭配置
我在谷歌上搜索过，但没有找到合适的解决方案。如果有人使用过这种配置共享，那将会很有帮助。
最佳答案
Jupyter 内核 session 的空闲超时可以通过内核管理器的 cull_idle_timeout 配置(检查:https://jupyter-notebook.readthedocs.io/en/stable/config.html)。
如果您通过 Livy 使用 Spark，livy.server.session.timeout 垃圾会收集不活动的 Livy session 。这可以在 Livy 下的 conf/livy.conf 中指定。默认值为一小时。
关于python - 有没有办法自动关闭 Spark/jupyter session ，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/58925081/