linux - O_DIRECT 的真正含义是什么？

Question

如果我用 O_DIRECT 打开文件标志，这是否意味着每当对该文件的写入(阻塞模式)返回时，数据都在磁盘上？

Answer 1

(此答案适用于 Linux - 其他操作系统可能有不同的警告/语义)
让我们从子问题开始:

If I open a file with O_DIRECT flag, does it mean that whenever a write(blocking mode) to that file returns, the data is on disk?

否 (如 @michael-foukarakis commented ) - 如果您需要保证您的数据已进入非 volatile 存储，您必须使用/添加其他内容。

What does O_DIRECT really mean?

这是一个 提示 您希望 I/O 绕过 Linux内核的缓存。实际会发生什么取决于以下事项:

磁盘配置

无论您是打开块设备还是文件系统中的文件

如果使用文件系统中的文件

使用的确切文件系统以及文件系统和文件

上使用的选项

您是否正确对齐了 I/O

文件系统是否必须进行新的块分配以满足您的 I/O

如果底层磁盘是本地磁盘，那么在到达磁盘块设备之前，内核存储堆栈中有哪些层

Linux内核版本

...

上面的列表并不详尽。
在“最佳”情况下，设置 O_DIRECT将避免在传输数据时制作额外的数据副本，并且在传输完成后调用将返回。在直接打开“真实”本地磁盘的块设备时，您更有可能遇到这种情况。如前所述，即使是此属性 不保证成功的数据write()调用将在突然断电后幸存 .如果数据从 RAM 中通过 DMA 传输到非 volatile 存储(例如电池供电的 RAID Controller )或 RAM 本身是持久性存储，那么您 5 月 保证数据达到稳定的存储，可以承受断电。要知道是否是这种情况，您必须限定您的硬件堆栈，这样您就不能在一般情况下假设这一点。
在“最坏”的情况下，O_DIRECT即使设置它没有被拒绝并且随后的调用“成功”，也可能没有任何意义。有时 Linux 存储堆栈中的东西(比如 某些 文件系统设置)可以选择忽略它，因为它们必须做什么或者因为你没有满足要求(这是合法的)，只是默默地做缓冲I/O 代替(即写入缓冲区/满足从已经缓冲的数据读取)。目前还不清楚是否会做出额外的努力来确保确认写入的数据至少“与设备一起”(但在 O_DIRECT 和障碍线程 Christoph Hellwig 发布了 the O_DIRECT fallback will ensure data has at least been sent to the device)。更复杂的是使用 O_DIRECT不暗示文件元数据所以即使写 数据通过调用完成“使用设备”，关键文件元数据(例如文件的大小，因为您正在进行附加)可能不是。因此，您实际上可能无法获得您认为在崩溃后传输的数据(它可能会被截断，或全为零等)。
虽然简短的测试可以使它看起来像使用 O_DIRECT 的数据单独总是意味着在写入返回后数据将在磁盘上，更改内容(例如使用 Ext4 文件系统而不是 XFS)可能会以非常激烈的方式削弱实际实现的效果。
当您提到“保证数据”(而不是元数据)时，也许您正在寻找 O_DSYNC/fdatasync() ?如果你想保证元数据也被写入，你将不得不查看 O_SYNC/fsync() .
引用

Ext4 Wiki: Clarifying Direct IO's Semantics .还包含关于什么的注释 O_DIRECT在一些非 Linux 操作系统上运行。

“[PATCH 1/1 linux-next] ext4:向补丁添加兼容性标志检查”LKML 线程有来自 Ext4 首席开发人员 Ted Ts'o 的回复，谈论如何 filesystems can fallback to buffered I/O for O_DIRECT rather than failing the open() call .

在“ubifs:允许 O_DIRECT”LKML 线程 Btrfs 首席开发人员 Chris Mason 中声明 Btrfs resorts to buffered I/O when O_DIRECT is requested on compressed files .

ZFS on Linux commit message discussing the semantics of O_DIRECT in different scenarios .另请参阅(在撰写本文时 2020 年年中)proposed new O_DIRECT semantics for ZFS on Linux (交互很复杂，无法简单解释)。

Linux open(2) man page (在 Description section 和 Notes section 中搜索 O_DIRECT)

Ensuring data reaches disk LWN 文章

臭名昭著 Linus Torvalds O_DIRECT LKML thread summary (有关更多上下文，您可以查看 full LKML thread )