我正在寻找有关如何为我在 Ubuntu Linux 14.04 上运行的应用程序获得高效和高性能异步 IO 的建议。
我的应用程序处理事务并在磁盘/闪存上创建一个文件。随着应用程序通过事务进行,额外的块被创建,这些块必须附加到磁盘/闪存上的文件中。该应用程序还需要在处理新事务时频繁读取该文件的块。每个事务可能需要从这个文件中读取一个不同的块,此外还要创建一个必须附加到这个文件的新块。有一个传入的事务队列,应用程序可以继续处理队列中的事务,以创建足够深的 IO 操作管道,以隐藏磁盘或闪存上的读取访问或写入完成的延迟。对于尚未写入磁盘/闪存的块(由前一个事务放入写入队列)的读取,应用程序将停止,直到相应的写入完成。
我有一个重要的性能目标——应用程序应该产生尽可能低的延迟来发出 IO 操作。我的应用程序需要大约 10 微秒来处理每个事务,并准备好向磁盘/闪存上的文件发出写入或读取。发出异步读取或写入的额外延迟应尽可能小,以便应用程序可以在仅需要写入文件时以每个事务接近 10 微秒的速率完成每个事务的处理。
我们正在试验一种使用 io_submit 发出写入和读取请求的实现。对于满足我们要求的最佳方法的任何建议或反馈,我将不胜感激。 io_submit 是否会给我们提供最佳性能来实现我们的目标?对于每次写入 io_submit 的延迟和每次读取 io_submit 的延迟,我应该期待什么?
使用我们的实验代码(在 2.3 GHz Haswell Macbook Pro、Ubuntu Linux 14.04 上运行),我们在扩展输出文件时测量了大约 50 微秒的写入 io_submit。这太长了,我们甚至还没有接近我们的性能要求。任何帮助我以最少的延迟启动写入请求的指导将不胜感激。
最佳答案
Linux AIO(有时称为 KAIO 或 libaio
)是一种黑魔法,经验丰富的从业者知道其中的陷阱,但出于某种原因,它是 taboo to tell someone about gotchas they don't already know .通过在网上摸索和经验,我想出了几个例子,其中 Linux 的 通过 io_submit()
提交异步 I/O 可能变得(静默)同步,从而将其变成阻塞(即不再快速)调用:
O_DIRECT
“提示”(例如,您提交 I/O 的方式不符合 O_DIRECT
对齐约束,文件系统或特定文件系统的配置不支持 O_DIRECT
)并且它选择 silently perform buffered I/O instead ,导致上述情况。 io_submit()
当另一个操作完成时,再次将变成阻塞调用。 Seastar framework contains a small lookup table of filesystem specific cases . /sys/block/[disk]/queue/nr_requests
documentation 和未记录的 /sys/block/[disk]/device/queue_depth
) 在内核中。制作 I/O requests back-up and exceed the size of the kernel queues leads to blocking ./sys/block/[disk]/queue/max_sectors_kb
但大于 true limit may be something smaller like 512 KiB),它们将在块层内拆分并继续处理多个请求。 /proc/sys/fs/aio-max-nr
documentation)也会产生影响,但结果将在 io_setup()
中看到。而不是 io_submit()
. i_rwsem
)。 上面的列表是不是 详尽无遗。
>= 4.14 内核时
RWF_NONBLOCK
flag可以用来制作上面嘈杂的一些阻塞场景。例如,当使用缓冲并尝试读取尚未在页面缓存中的数据时, RWF_NONBLOCK
flag will cause submission to fail with EAGAIN
when blocking would otherwise occur .显然,您仍然 a) 需要支持此标志的 4.14(或更高版本)内核,并且 b) 必须了解它未涵盖的情况。我注意到有 patches that have been accepted or are being proposed to return EAGAIN
in more scenarios that would otherwise block但在撰写本文时 (2019) RWF_NONBLOCK
is not supported for buffered filesystem writes .备择方案
如果您的内核 >=5.1,您可以尝试使用
io_uring
这在不阻止提交方面做得更好(这是一个完全不同的界面,并且是 2020 年的新界面)。引用
io_submit()
阻塞/缓慢的情况。 ENOSPC
由于缺乏大量连续的可用空间。 O_DIRECT
rather than failing the open()
call .O_DIRECT
is requested on compressed files . O_DIRECT
to "accepting" it by falling back to buffered I/O (请参阅提交消息中的第 3 点)。在 ZFS on Linux "Direct IO" GitHub issue 中还有从引导到提交的进一步讨论。 .在“NVMe Read Performance Issues with ZFS (submit_bio to io_schedule)”问题中,有人建议他们是 getting closer to submitting a change that enables a proper zerocopy O_DIRECT
.如果接受这样的更改,它最终会出现在 ZoL 的某个 future 版本中大于 0.8.2。 O_DIRECT
allocating writes . io_submit()
的原因延误。还有一个 LWN article talking about an earlier version of the no-wait AIO patch set以及它没有涵盖的一些情况(但请注意,缓冲读取 最后被它涵盖了 )。 有关的:
希望这篇文章对某人有所帮助(如果对您有帮助,您可以点赞吗?谢谢!)。
关于linux - Ubuntu Linux 中的异步 IO io_submit 延迟,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/34572559/