python删除与未知模式匹配的旧文件(棘手)

标签 python regex linux algorithm

我的服务器已满，我需要自动删除文件。文件通常每天都会添加到我的服务器中，但有时会有暂停，使它们每两周或每月添加一次。他们停止进来几个月然后又开始，这是不可预测的。

我的脚本需要删除超过 30 天的文件但始终保留其找到的任何文件模式的最新 5 个文件。这是棘手的部分。

关于文件的唯一可预测的事情/模式是文件总是在某处包含 yyyymmddhhmmss 时间戳和一些重复的模式， 文件名的其他部分并不总是可预测的。如果文件没有时间戳，我不想删除它。

一个示例目录我有这样的东西

20121118011335_team1-pathway_Truck_Report_Data_10342532.zip
20121119011335_team1-pathway_Truck_Report_Data_102345234.zip
20121120011335_team1-pathway_Truck_Report_Data_10642224.zip
20121121011335_team1-pathway_Truck_Report_Data_133464.zip
20121122011335_team1-pathway_Truck_Report_Data_126434344.zip
20121123011335_team1-pathway_Truck_Report_Data_12444656.zip
20121124011335_team1-pathway_Truck_Report_Data_1624444.zip
20121125011335_team1-pathway_Truck_Report_Data_3464433.zip
randomefilewithnodate.zip
20121119011335_team2-Paper_Size_Report_336655.zip
20121120011335_team2-Paper_Size_Report_336677.zip
20121121011335_team2-Paper_Size_Report_338877.zip
20121122011335_team2-Paper_Size_Report_226688.zip
20121123011335_team2-Paper_Size_Report_776688.zip
20121124011335_team2-Paper_Size_Report_223355.zip
20121125011335_team2-Paper_Size_Report_111111.zip

在这种情况下，我的脚本应该只删除第一个模式中最旧的 3 个文件 20121118011335_team1-pathway_Truck_Report_Data_10342532.zip
20121119011335_team1-pathway_Truck_Report_Data_102345234.zip
20121120011335_team1-pathway_Truck_Report_Data_10642224.zip

以及第二个模式的最旧的 2 个文件
20121119011335_team2-Paper_Size_Report_336655.zip
20121120011335_team2-Paper_Size_Report_336677.zip

这样它会保留 5 个最新文件，并且不会触及没有日期的文件

我的问题是我无法知道 yyyymmddhhmmss_ 之后到底会发生什么 我只知道这将是 yyyymmddhhmmss_something_concient_random_random 或 yyyymmddhhmmss_something_concient_something_consistent_random_random.xyz 的各种迭代

到目前为止，我已经想出了正则表达式来匹配时间戳是否存在，但我想不出如何让我的脚本足够智能来检测文件模式的其余部分并保留 5 天的时间一种模式。

欢迎任何想法!下面的脚本并不完美，我可以修复小错误。

我真的需要帮助，主要是保存 5 个最新文件部分

额外问题是 epoc 时间部分。 

def myCleansingMethod(self, client)

    # Get rid of things older than 30 days
    # 30 days has this many seconds 30 * 24 * 60 * 60
    numberOfSeconds = 2592000
    # establish what the epoc time of the oldest file I want to keep is
    oldestFileThatIWantToKeep = time.time() - numberOfSeconds
    #establish my working directory
    workingDirectory = "/home/files/%s" % (client)
    try:
        files = os.listdir(workingDirectory)
        except:
        print "Could not find directory"
        return

        files.sort()
        for file in files:
            # define Full File Name (path + file)
            fullFileName = "%s/%s" % (workingDirectory, file)
            # make sure the file contains yyyymmddhhmmss
            match = re.search(r'[0-9]{4}(1[0-2]|0[1-9])(3[01]|[12][0-9]|0[1-9])([01]\d|2[0123])([0-5]\d){2}', file)
            if match:
                #get what was matched in the RegEx
                fileTime = match.group()
                #convert fileTime to Epoc time
                fileTimeToEpoc = (fileTime + NOT SURE HOW TO DO THIS PART YET)

                if fileTimeToEpoc < oldestFileThatIWantToKeep AND (CODE THAT MAKES SURE   THERE ARE AT LEAST 5 FILES OF THE SAME PATTERN PRESENT) :
                print "Delete file: %s\t%s" % (fileTimeToEpoc, fullFileName)
                command = "rm -Rf %s" % fullFileName
                print command
                os.system (command)
                else:
                pass  
            else:
            pass

最佳答案

这是一项很好的任务，我大量使用了函数模式，主要来自 itertools。我喜欢使用迭代器，因为它们是可扩展的，即使对于巨大的列表也是如此，并且所涉及的功能思想使代码具有可读性和可维护性。

首先，从 itertools 和 datetime 导入我们需要的内容:

from itertools import groupby, chain
from datetime import datetime

获取示例文件名列表:

filenames = """20121118011335_team1-pathway_Truck_Report_Data_10342532.zip
20121119011335_team1-pathway_Truck_Report_Data_102345234.zip
20121120011335_team1-pathway_Truck_Report_Data_10642224.zip
20121121011335_team1-pathway_Truck_Report_Data_133464.zip
20121122011335_team1-pathway_Truck_Report_Data_126434344.zip
20121123011335_team1-pathway_Truck_Report_Data_12444656.zip
20121124011335_team1-pathway_Truck_Report_Data_1624444.zip
20121125011335_team1-pathway_Truck_Report_Data_3464433.zip
randomefilewithnodate.zip
20121119011335_team2-Paper_Size_Report_336655.zip
20121120011335_team2-Paper_Size_Report_336677.zip
20121121011335_team2-Paper_Size_Report_338877.zip
20121122011335_team2-Paper_Size_Report_226688.zip
20121123011335_team2-Paper_Size_Report_776688.zip
20121124011335_team2-Paper_Size_Report_223355.zip
20121125011335_team2-Paper_Size_Report_111111.zip""".split("\n")

一些辅助函数。名称应该是不言自明的。

def extract_date(s):
    return datetime.strptime(s.split("_")[0], "%Y%m%d%H%M%S")

def starts_with_date(s):
    try:
        extract_date(s)
        return True
    except Exception:
        return False

如果下一个方法不能涵盖所有情况，您可能需要调整 - 对于您的示例数据来说，它确实如此。

def get_name_root(s):
    return "".join(s.split(".")[0].split("_")[1:-1])

def find_files_to_delete_for_group(group):
    sorted_group = sorted(group, key=extract_date)
    return sorted_group[:-5]

现在，整个例程可以通过一些迭代来完成。首先，我过滤文件名列表，所有不以数据(以您的格式)开头的文件名都被过滤掉。然后，其余的按其“名称根”分组(想不出更好的名称)。

fn_groups = groupby(
                filter(
                    starts_with_date,
                    filenames),
                get_name_root
            )

现在，对于每个组，我应用一种过滤方法(见上文)来查找所有不包含五个最新日期的文件名。为每一组找到的内容是链式的，即从多个列表创建一个迭代器:

fns_to_delete = chain(*[find_files_to_delete_for_group(g) for k, g in fn_groups])

最后，为了方便检查结果，我将迭代器转换为列表并打印它:

print list(fns_to_delete)

该脚本的输出是:

['20121118011335_team1-pathway_Truck_Report_Data_10342532.zip', '20121119011335_team1-pathway_Truck_Report_Data_102345234.zip', '20121120011335_team1-pathway_Truck_Report_Data_10642224.zip', '20121119011335_team2-Paper_Size_Report_336655.zip', '20121120011335_team2-Paper_Size_Report_336677.zip']

如果有什么不清楚的地方，尽管问。

这是整个脚本，用于简单的 c&p-ing:

from itertools import groupby, chain
from datetime import datetime

filenames = """20121118011335_team1-pathway_Truck_Report_Data_10342532.zip
20121119011335_team1-pathway_Truck_Report_Data_102345234.zip
20121120011335_team1-pathway_Truck_Report_Data_10642224.zip
20121121011335_team1-pathway_Truck_Report_Data_133464.zip
20121122011335_team1-pathway_Truck_Report_Data_126434344.zip
20121123011335_team1-pathway_Truck_Report_Data_12444656.zip
20121124011335_team1-pathway_Truck_Report_Data_1624444.zip
20121125011335_team1-pathway_Truck_Report_Data_3464433.zip
randomefilewithnodate.zip
20121119011335_team2-Paper_Size_Report_336655.zip
20121120011335_team2-Paper_Size_Report_336677.zip
20121121011335_team2-Paper_Size_Report_338877.zip
20121122011335_team2-Paper_Size_Report_226688.zip
20121123011335_team2-Paper_Size_Report_776688.zip
20121124011335_team2-Paper_Size_Report_223355.zip
20121125011335_team2-Paper_Size_Report_111111.zip""".split("\n")

def extract_date(s):
    return datetime.strptime(s.split("_")[0], "%Y%m%d%H%M%S")

def starts_with_date(s):
    try:
        extract_date(s)
        return True
    except Exception:
        return False

def get_name_root(s):
    return "".join(s.split(".")[0].split("_")[1:-1])

def find_files_to_delete_for_group(group):
    sorted_group = sorted(group, key=extract_date)
    return sorted_group[:-5]        

fn_groups = groupby(
                filter(
                    starts_with_date,
                    filenames),
                get_name_root
            )

fns_to_delete = chain(*[find_files_to_delete_for_group(g) for k, g in fn_groups])

print list(fns_to_delete)

关于python删除与未知模式匹配的旧文件(棘手)，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/14724304/

上一篇：Java Process无法通过Runtime.getRunTime().exec()获取InputStream

下一篇：linux - 如何在表的每一列上循环 awk 命令并输出到单个输出文件？

相关文章：

regex - sed 从字符串中提取版本号(只有版本，没有其他数字)

linux - 如何在linux下使用命令行将字符串转换为二进制整数文件

linux - 无法从同一局域网中的另一台主机 ping docker 容器

python - 将 Chrome 历史文件 (sqlite) 中的日期时间字段转换为可读格式

python - Ajax POST 在 Flask 中返回 render_template？

Python正则表达式困惑

c# - 将字符串拆分为字符串生成器，删除所有与模式匹配的单词

regex - 在每个第 4 个数字/数字后添加一个空格 Oracle 11G

linux - "sudo: must be setuid root"但已经root并且's'权限

python - 窗口中进程打开的文件名？

©2024 IT工具网  联系我们