Python 多处理、重新启动时终止进程和防止僵尸进程时出现问题

标签 python python-multiprocessing python-3.5

解决方案:

感谢 Rick Sanders,在终止进程后添加此函数解决了问题:

os.waitpid(pid, options)

僵尸进程是在进程终止时创建的,除非它们被收获(通过请求退出代码)。它们保留的目的是父级可以请求其退出代码,并且由于我的脚本并未真正退出,因此它的进程被 execv(file, args) 替换。 ,父进程从不请求退出代码,并且僵尸进程被保留。这适用于我的 OSX 和 Debian 系统。

我正在编写一个非常大的脚本,最近实现了多重处理和 IMAP 来监听电子邮件。在实现此操作之前,我已经实现了一个重新启动命令,我可以在命令行输入该命令以在编辑后刷新脚本,简而言之,它的作用是:

if ipt = ':rs':
    execv(__file__)

不过,它会临时打印出一堆垃圾。

我还有一个进程在另一个对象中运行,它在 While 循环中监听 Google 的 IMAP 服务器,如下所示:

While True:
    mail = imaplib.IMAP4_SSL('imap.gmail.com')
    mail.login('myemail@gmail', 'mypassword')
    mail.list()
    mail.select("inbox")

    result, data = mail.uid('search', None, 'All')

    latest_email_uid = data[0].split()[-1] #grabs the most recent email by
                                           #unique id number

    if int(latest_email_uid) != int(last_email_uid): # set earlier from sql                         
                                                     # database
        # do stuff with the mail
    else:
        continue

通过观看top,我注意到重新启动时我正在创建僵尸,因此我创建了一个终止函数:

def process_terminator(self):
    self.imap_listener.terminate()

我从重新启动时调用它:

if ipt == ':rs':
    self.process_object.terminate()
    execv(__file__)

但是,僵尸进程仍然存在。因此,经过几个小时的工作,我意识到在调用函数后添加一个 time.sleep 周期,并且将局部变量设置为进程的退出代码或打印进程的退出代码将允许进程终止,即使它只是0.1秒:

if ipt == ':rs':
    self.process_object.terminate()
    time.sleep(.1)
    print(self.process_object.imap_listener.exitcode)
    execv(__file__)

在 OSX 中情况并非如此,只需执行进程的 .terminate() 函数就会结束进程,但是在我的 debian 机器上,我必须有一个 sleep(n) 周期并且必须引用一个进程' 以某种形式或方式退出代码以防止其僵尸化。

我也尝试过使用 .join,尽管这会挂起我的整个脚本。我尝试创建变量,让进程在(例如) self.terminate = 1 时中断其 while 循环,然后加入,但这也不起作用。

运行 exec('quit') 时没有这个问题,只要我终止然后进程,.join() 就不起作用。

有人可以指出我的任何误解吗?我尝试过自己的研究,但尚未找到足够的解决方案,并且我知道不应显式终止进程,因为它们不会很好地退出,但在工作数小时后我没有找到其他方法。

抱歉,我没有更多代码可提供,如果需要,我会尽力提供更多代码,这些只是我的脚本中的相关代码片段(1000 多行)。

最佳答案

您可以从这里开始:https://en.wikipedia.org/wiki/Zombie_process 。父进程必须在子进程退出时收割其子进程,例如使用 waitpid():

os.waitpid(pid, options)

等待特定子进程终止并返回已终止进程的 pid,如果没有此类子进程,则返回 -1。在某些系统上,值 0 表示还有进程仍在运行。

关于Python 多处理、重新启动时终止进程和防止僵尸进程时出现问题,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/36406221/

相关文章:

python - django如何自动生成方法?

python - 如何在 pygame 中使用多处理

selenium - 如何更新 Windows 10 的 Chrome 驱动程序

python - 就地自定义对象使用 __getitem__ python 3.5 与 python 3.6 解包不同的行为

python - pycuda.driver 中的 pycuda ImportError

python - 在带有 Python2.6 的 Mac 上并尝试安装 psycopg2

python多处理/线程代码提前退出

python - 字典更新序列元素错误

python - 段错误 : 11 in OS X

python - 如何在满足给定条件时终止Python中的多进程?