linux - 调整顺序磁盘读取以提高性能

标签 linux performance io linux-kernel disk

我正在从磁盘顺序读取一个大文件,并试图在读取过程中了解 iostat 输出。

  • 文件大小:10GB
  • 读取缓冲区:4 KB
  • 预读(/sys/block/sda/queue/read_ahead_kb):128 KB

iostat输出如下

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz await r_await w_await  svctm  %util
sda               0.00     0.00  833.00   14.00   103.88     0.05   251.30     6.07    5.69    2.33 205.71  1.18 100.00

计算 I/O 请求的平均大小 =(rMB/s 除以 r/s)得出 ~ 128 KB,这是预读值。这似乎表明,虽然读取系统调用指定了 4KB 缓冲区,但实际磁盘 I/O 是根据预读值发生的。

当我将预读值增加到 256KB 时,iostat 输出如下

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    28.00  412.00   12.00   102.50     0.05   495.32    10.78   12.15    4.76  265.83   2.36 100.00

同样,平均 I/O 请求大小为 256 KB,与预读匹配。

这种情况一直持续到我将 512 KB 设置为预读值并且当我向上移动到 1024 KB 的预读值时没有保持 - I/O 请求的平均大小仍然是 512 KB。将 max_sectors_kb(每个 I/O 请求的最大数据量)从默认的 512 KB 增加到 1024 KB 也无济于事。

为什么会发生这种情况 - 理想情况下,我想尽可能地减少读取 IOPS 并在每个 I/O 请求中读取更多数据(每个请求大于 512 KB)。此外,我在所有情况下都达到了 100% 的磁盘利用率——我想限制自己以 50-60% 的磁盘利用率进行读取,并具有良好的顺序吞吐量。简而言之,顺序读取 I/O 的优化应用程序/内核设置是什么。

最佳答案

预读在 1024kb 的情况下不起作用的原因应该是你的硬盘的扇区大小是 512kb。请使用命令“fdisk -l”检查您的硬盘扇区大小。 即使您更改了预读大小和最大扇区大小参数,IO 的实际大小仍然不会超过硬件 IO 大小(扇区大小)。

关于linux - 调整顺序磁盘读取以提高性能,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/40120967/

相关文章:

linux - 从 UTC 到纪元的转换 shell 脚本或 awk

linux - root 无法删除名为 admin 的用户的目录

Java - 如何在写入文件时检测文件删除?

linux - (Linux) 将多个文件作为一个文件读取,而无需先将 block 复制到新文件

io - 读取超出缓冲区

linux - 从父进程读取子进程的/proc/pid/mem 文件

python - 为什么我不能安装 greenlet(只是一个基本的 python 包)?

javascript - 使用函数引用作为对象属性/键是安全的

performance - 如何从 JavaFX 场景中获取 FPS?

c# - 最有效的遍历数组