python - Git tree-filter 在提交时运行 python 脚本

Question

我早些时候在 #git 上被问到这个问题，但由于它相当重要，我会把它贴在这里。我想在 repo 上运行 filter-branch 以使用 python 脚本修改(数千个)超过数百次提交的文件。我在 repo 目录中使用以下命令调用 clean.py 脚本:

git filter-branch -f --tree-filter '(cd ../cleaner/ && python clean.py --path=files/*/*/**)'

Clean.py 看起来像这样并将修改路径中的所有文件(即 files/*/*/**):

from os import environ as environment
import argparse, yaml
import logging
from cleaner import Cleaner

parser = argparse.ArgumentParser()
parser.add_argument("--path", help="path to run cleaner on", type=str)
args = parser.parse_args()

# logging.basicConfig(level=logging.DEBUG)

with open("config.yml") as sets:
    config = yaml.load(sets)

path = args.path
if not path:
    path = config["cleaner"]["general_pattern"]

cleaner = Cleaner(config["cleaner"])

print "Cleaning path: " + str(path)
cleaner.clean(path, True)

运行命令后终端输出如下:

$ python deploy.py --verbose
INFO:root:Checked out master branch
INFO:root:Running command:
'git filter-branch -f --tree-filter '(cd C:/Users/Graeme/Documents/programming/clean-cdn/clean-jsdelivr/ && python clean.py --path=files/*/*/**)' -d "../tmp"' in ../jsdelivr
Rewrite 298ec3a2ca5877a25ebd40aeb815d7b5a5f33a7e (1/1535)
Cleaning path: files/*/*/**

C:\Program Files (x86)\git/libexec/git-core\git-filter-branch: line 343: ../commit: No such file or directory
C:\Program Files (x86)\git/libexec/git-core\git-filter-branch: line 346: ../map/298ec3a2ca5877a25ebd40aeb815d7b5a5f33a7e
: No such file or directory
could not write rewritten commit
rm: cannot remove `/c/Users/Graeme/Documents/programming/clean-cdn/tmp/revs': Permission denied
rm: cannot remove directory `/c/Users/Graeme/Documents/programming/clean-cdn/tmp': Directory not empty

python 脚本成功执行并正确修改了文件，但 filter-branch 没有完成修复提交。 似乎存在权限问题，但我无法绕过它以提升的权限运行。我已经尝试使用 git v1.8 和 v1.9 在 win7、win8 和 ubuntu 上运行过滤器分支。
编辑 该脚本在 Centros 上与 git1.7.1

一样工作

目标是在 files/*/*/** 中的内容完成与数据库的同步后，减少 CDN 存储库的大小(接近 1GB)。
The source code of the project
Target repo for the rewrite

Answer 1

您遇到的权限问题很有趣 - 您是在存储库的本地副本(即您对文件系统具有完全访问权限的副本)上还是在远程服务器上执行此操作？

阅读您的 Python 代码，您似乎在尝试删除超过一定大小但不是 .INI 文件的每个文件，我做对了吗？

如果是这样，请问您是否考虑过The BFG Repo-Cleaner ？显然，您通过编写自己的代码(我知道我有)学到了很多关于 Git 的知识，但我认为 BFG 可能是为您的需求量身定制的 - 并且会比任何 git-filter-branch 都快。基于方法。

在您的情况下，您可能希望使用如下命令运行它:

$ java -jar bfg.jar --strip-blobs-bigger-than 100K  my-repo.git

这将删除所有大于 100K 的 blob，它们不在您的最新提交中。

我在 jsdelivr 上快速运行了一下 repo ，并在 the cleaned repo 中将包大小从 284M 减少到 138M . BFG 清洁步骤不到 5 秒，随后的 git gc --prune=now --aggressive不到 2 分钟。

完全披露:我是 BFG Repo-Cleaner 的作者。