我有一个文件系统，其中包含 4000 万个文件，采用 10 级树结构(总共约 500 GB)。我遇到的问题是备份。增量备份 (bacula) 需要 9 小时(大约 10 GB)，并且性能非常低。有些目录有 50k 文件，其他目录有 10k 文件。 HD 是 HW RAID，我在上面有默认的 Ubuntu LV。我认为这里的瓶颈是文件数量(巨大的 inode 数量)。我正在尝试提高性能(同一 FS 上的完整备份需要 4 天以上，读取速度为 200k/s)。 - 您认为将 FS 分成几个较小的 FS 有帮助吗？我可以有1000个小FS... - 您认为从 HD 迁移到 SSD 有帮助吗？ - 有什么建议吗？
谢谢!
最佳答案
迁移到 SSD 将提高备份速度。 SSD 很快就会疲劳，您将需要备份...
您不能组织一些您知道在哪里查找更改/新文件的内容吗？
这样您就需要增量备份这些文件夹。
您的文件有必要在线吗？你能有3层深度的老树的tar文件吗？
我猜 find -mtime -1 也需要几个小时。
我希望备份不使用与树结构相同的分区 (/tmp 下的所有内容都是一个非常糟糕的计划)，bavkup 可能生成的临时文件应该位于不同的分区上。
新文件从哪里来？当您控制的进程更改所有文件时，您的进程可以创建一个包含更改文件列表的日志文件。
关于linux - 处理数百万个文件的 ext 性能，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/28444401/