linux - 在这种情况下,我应该在单独的线程中读取文件吗?

标签 linux multithreading optimization dma

我正在为嵌入式 Linux 编写一个应用程序,其中 5% 的处理器时间用于读取文件,95% 用于处理文件。如果我在一个线程中读取文件并在另一个线程中继续处理,我能否获得一些性能提升?

我正在从支持 DMA 的 mmc 卡读取数据。文件大小为 20mb,分为 2kb 的 block 。我将从读取器线程中排队 block 并在处理器线程中处理它。因此仅在从队列中插入和删除时需要线程同步。

我正在为 ARM9 编程。

什么应该是快速的单线程/多线程。

最佳答案

我建议不要使用其他线程。而是使用 posix_fadvise() 告诉 Linux 提前读取更多文件。当您的程序正在处理数据时,内核可以通过 DMA 读取文件。

这假设内核有足够的空闲内存用于数据缓冲。如果您的数据处理使用了所有内存,那么内核将忽略 posix_fadvise()。

您需要的确切调用如下所示:

while( 1 ) {
  ret = read(fd, buffer, 2*1024);
  if( ret < 0 ) abort();
  if( ret == 0 ) break;
  if( ret != 2*1024 ) abort();
  pos += ret;
  ret = posix_fadvise(fd, pos, 8*1024, POSIX_FADV_WILLNEED);
  if( ret ) abort();
  process(buffer);
}

关于linux - 在这种情况下,我应该在单独的线程中读取文件吗?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/1765790/

相关文章:

c# - List<Object> 上的 Parallel.ForEach 线程安全

c - ISO_C_绑定(bind) : Impact on performance/optimization

python - 从大字典中弹出 N 项的最快方法

linux - 如何删除第二列中的值出现特定次数的文件的行?

sql - 尝试在 Ubuntu 19.04 上安装 Oracle Database 19c

c - linux猫: No such file or directory

c# - 使用process.waitforexit()时线程被中止错误

linux - 如何在命令行中使用单个命令运行一系列命令?

linux - Try...catch 导致带有 posix 线程的嵌入式 ARM 出现段错误

r - R : efficiently count number of edges between multiple sets of vertices 中的 igraph