Python 看门狗子进程队列

标签 python queue multiprocessing python-asyncio watchdog

我从以下网站复制了Python看门狗脚本:https://www.michaelcho.me/article/using-pythons-watchdog-to-monitor-changes-to-a-directory

import time
from watchdog.observers import Observer
from watchdog.events import FileSystemEventHandler


class Watcher:
    DIRECTORY_TO_WATCH = "/path/to/my/directory"

    def __init__(self):
        self.observer = Observer()

    def run(self):
        event_handler = Handler()
        self.observer.schedule(event_handler, self.DIRECTORY_TO_WATCH, recursive=True)
        self.observer.start()
        try:
            while True:
                time.sleep(5)
        except:
            self.observer.stop()
            print "Error"

        self.observer.join()


class Handler(FileSystemEventHandler):

    @staticmethod
    def on_any_event(event):
        if event.is_directory:
            return None

        elif event.event_type == 'created':
            # Take any action here when a file is first created.
            print "Received created event - %s." % event.src_path
            # Build up queue of subtasks here and let another thread/process 
            # take care of it so that main process can continue.

        elif event.event_type == 'modified':
            # Taken any action here when a file is modified.
            print "Received modified event - %s." % event.src_path


if __name__ == '__main__':
    w = Watcher()
    w.run()

这个脚本非常适合我,但我有一些额外的要求。

  1. 我想启动一个可能需要几分钟的额外进程(Python 脚本),而不是打印文本。主脚本不应等待此过程完成,而应继续检查新的或更改的文件。

  2. 被启动的辅助进程不允许相互超越,因此必须放置在某种需要串行处理的队列中。

什么方法/包是满足这些要求的好方法?我简要地了解了多处理和异步,但不确定正确的实现。

我的总体想法是,应该根据事件类型启动一个单独的进程/线程,它检查队列并逐一进行检查。理想情况下,当主进程关闭时,辅助线程/进程会完成剩余的队列。

最佳答案

我使用这个模板作为看门狗。 on_any_event 对我来说有点敏感。

问题 1 的答案:您可以用任何内容代替 print。函数、方法、循环等。当事件发生时,Watcher 将继续运行并调用 Handler()

认为您需要详细说明调用 on_any_event 后您想要执行的操作。

class Handler(FileSystemEventHandler):

@staticmethod
def on_any_event(event):
    if event.is_directory:
        return None

    elif event.event_type == 'created':
        return run_function()

    elif event.event_type == 'modified':
        return run_other_function()

def run_function():
    W = '36 Chambers\n'
    with open('Wu-Tang.txt', '') as wu:
        wu.write(W) 
        wu.close()

def run_other_function():
    _W = 'The RZA the GZA.\n'
    with open('Wu-Tang.txt', 'a') as _wu:
        _wu.write(_W) 
        _wu.close()



if __name__ == '__main__':
    w = Watcher()
    w.run()

关于Python 看门狗子进程队列,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/53617930/

相关文章:

Python PyQT 手势

c++ - 在 Tensorflow C++ 中使用 FIFOQueue 时遇到问题

javascript - 成功堆叠多个 AJAX 请求 (jQuery)

Python多处理卡住叉炸弹

python - 在Python多处理子进程中忽略SIGINT

python - 类型错误 : not enough arguments for format string on my project

python - Keras/Tensorflow 计算批处理的mean_iou

python - 从 NLTK 的 Penn Treebank 语料库样本创建字典?

javascript - Jquery 排队动画

python - python多处理中的动态工作池管理