python - 如何处理要在 cron 作业中处理的新文件

Question

如何检查我已经在脚本中处理过的文件，以便不再处理这些文件？和/或 我现在这样做有什么问题吗？

您好， 我在跑tshark使用环形缓冲区选项可在 5MB 或 1 小时后转储到文件。我写了一个 python 脚本来读取这些 XML 文件并转储到数据库中，这工作正常。

我的问题是，这确实是一个非常密集的过程，当转换为 XML 时，其中一个 5MB 可以变成一个 200MB 的文件，所以我不想做任何不必要的处理。

该脚本每 10 分钟运行一次，每次运行处理约 5 个文件，因为正在扫描创建文件的文件夹以查找任何新条目，我将文件的哈希值转储到数据库中，并在下一次运行时检查哈希，如果它不在数据库中，我会扫描文件。 问题是这似乎并不是每次都有效，它最终会处理它已经完成 的文件。当我检查它一直尝试处理的文件的哈希值时，它不会显示在数据库中的任何位置，因此为什么要一遍又一遍地尝试处理它。

我在脚本的输出中打印出文件名 + 散列:

using file /var/ss01/SS01_00086_20100107100828.cap with hash: 982d664b574b84d6a8a5093889454e59
using file /var/ss02/SS02_00053_20100106125828.cap with hash: 8caceb6af7328c4aed2ea349062b74e9
using file /var/ss02/SS02_00075_20100106184519.cap with hash: 1b664b2e900d56ca9750d27ed1ec28fc
using file /var/ss02/SS02_00098_20100107104437.cap with hash: e0d7f5b004016febe707e9823f339fce 
using file /var/ss02/SS02_00095_20100105132356.cap with hash: 41a3938150ec8e2d48ae9498c79a8d0c 
using file /var/ss02/SS02_00097_20100107103332.cap with hash: 4e08b6926c87f5967484add22a76f220
using file /var/ss02/SS02_00090_20100105122531.cap with hash: 470b378ee5a2f4a14ca28330c2009f56
using file /var/ss03/SS03_00089_20100107104530.cap with hash: 468a01753a97a6a5dfa60418064574cc 
using file /var/ss03/SS03_00086_20100105122537.cap with hash: 1fb8641f10f733384de01e94926e0853
using file /var/ss03/SS03_00090_20100107105832.cap with hash: d6209e65348029c3d211d1715301b9f8 
using file /var/ss03/SS03_00088_20100107103248.cap with hash: 56a26b4e84b853e1f2128c831628c65e 
using file /var/ss03/SS03_00072_20100105093543.cap with hash: dca18deb04b7c08e206a3b6f62262465 
using file /var/ss03/SS03_00050_20100106140218.cap with hash: 36761e3f67017c626563601eaf68a133 
using file /var/ss04/SS04_00010_20100105105912.cap with hash: 5188dc70616fa2971d57d4bfe029ec46 
using file /var/ss04/SS04_00071_20100107094806.cap with hash: ab72eaddd9f368e01f9a57471ccead1a 
using file /var/ss04/SS04_00072_20100107100234.cap with hash: 79dea347b04a05753cb4ff3576883494 
using file /var/ss04/SS04_00070_20100107093350.cap with hash: 535920197129176c4d7a9891c71e0243 
using file /var/ss04/SS04_00067_20100107084826.cap with hash: 64a88ecc1253e67d49e3cb68febb2e25 
using file /var/ss04/SS04_00042_20100106144048.cap with hash: bb9bfa773f3bf94fd3af2514395d8d9e 
using file /var/ss04/SS04_00007_20100105101951.cap with hash: d949e673f6138af2d388884f4a6b0f08

它应该做的唯一文件是每个文件夹一个，所以只有 4 个文件。这会导致不必要的处理，我必须处理重叠的 cron 作业 + 其他服务受到影响。

我希望从这篇文章中得到的是一种更好的方法来做到这一点，或者希望有人能告诉我为什么会这样，我知道后者可能很难，因为它可能有很多原因。

这是 code (我不是编码员，而是系统管理员，所以请善待 :P)第 30-32 行处理哈希比较。 提前致谢。

Answer 1

处理/处理随机创建的文件的一个好方法是使用 incron 而不是 cron。 (注意:由于 incron 使用 Linux 内核的 inotify系统调用，此解决方案仅适用于 Linux。)

cron 根据日期和时间运行作业，incron 根据日期和时间运行作业 监视目录中的更改。例如，您可以配置 incron 来运行一个 每次创建或修改新文件时的作业。

在 Ubuntu 上，这个包叫做 incron。我不确定 RedHat，但我相信这是正确的包:http://rpmfind.net//linux/RPM/dag/redhat/el5/i386/incron-0.5.9-1.el5.rf.i386.html .

安装 incron 包后，请阅读

man 5 incrontab 

有关如何设置 incrontab 配置文件的信息。您的 incron_config 文件可能如下所示:

/var/ss01/ IN_CLOSE_WRITE /path/to/processing/script.py $#
/var/ss02/ IN_CLOSE_WRITE /path/to/processing/script.py $#
/var/ss03/ IN_CLOSE_WRITE /path/to/processing/script.py $#
/var/ss04/ IN_CLOSE_WRITE /path/to/processing/script.py $#

然后要使用 incrond 守护程序注册此配置，您需要运行

incrontab /path/to/incron_config

这就是它的全部。现在，每当在/var/ss01、/var/ss02、/var/ss03 或/var/ss04 中创建文件时，命令

/path/to/processing/script.py $#

运行，$# 替换为新创建文件的名称。

这将避免存储/比较哈希值的需要，并且文件只会被处理一次——在创建后立即处理。

只需确保您的处理脚本不会写入受监控目录的顶层。 如果是，那么 incrond 将注意到创建的新文件，并再次启动 script.py，使您进入无限循环。

incrond 监控单个目录，不会递归监控子目录。所以可以直接tshark写入/var/ss01/tobeprocessed，使用incron监控 /var/ss01/tobeprocessed，并让您的 script.py 写入/var/ss01，例如。

附言。还有一个用于 inotify 的 python 接口(interface)，称为 pyinotify .与 incron 不同，pyinotify 可以递归监控子目录。但是，对于您的情况，我认为递归监视功能没有用处或必要性。