c++ - 在多线程环境中读取/写入文件的最佳方式 (C++)

标签 c++ multithreading file-io

我有一个读写文件的多线程程序。一个线程接收数据并将它们写入文件。每 250 Mb 的数据,就会创建一个新文件。多个其他线程可以读入这些文件以检索数据。我正在使用 C++ std 文件流。

为防止出现问题,我当前的实现对同一个文件使用两个文件描述符:一个用于读取器,一个用于写入器。互斥锁可防止同时进行多次访问,并且每次互斥锁所有者需要时都会移动文件描述符位置。

我真的需要能够尽可能快地读入文件,而互斥体并不能真正帮助我。

首先,我想知道读写文件或同时进行多次读取(在每个平台上)是否安全。 其次,如果是的话,我想知道像硬盘的“磁盘读写头”这样的硬件是如何安全的。该软件一直在磁盘上运行以保存数据,我不希望我的算法减少太多硬盘生命周期(已经很短)。

谢谢你的帮助

最佳答案

多线程读取同一个文件没有问题。

现在,如果我正确理解你的描述,你不会修改已经写入的数据,你只是不断地追加数据到你的文件,直到它达到 250Mb,然后你继续写入新文件。

如果是这种情况,您可能根本不需要互斥锁。例如,您可以将整个"file"保存在内存中,直到达到 250mb,然后才将其全部写入磁盘,因此您知道磁盘上已经存在的任何文件都不会再被写入,并且可以无后顾之忧地自由阅读。至于仍在写入的文件,您可以有一个全局整数来保存已经写入了多少字节(或字符串或您使用的任何内容),并且读取线程受此整数限制,不需要锁定,只要在写入数据后才更新整数。 (因为你说只有 1 个线程写入数据)。

即使由多个线程同时完成并由一个线程写入,简单地读取整数也不会破坏它,因此这将确保您的读取线程不会读取超出限制,并且这样的限制将始终是安全的并且一致,而写入线程可以在一个区域中和平地写入数据,保证在完成之前不会被读取线程打扰。

至于你的第二个问题,如果你确实能够将当前正在写入的文件完全保留在内存中,那将已经节省了一些硬盘使用量以及时间。此外,请记住,大多数现代 HDD 都有 32Mb+ 的缓存,因此并不是每次读写都会直接命中 HDD 本身,除非你有大量线程一直在读取随机文件和其中的随机部分。如果是这种情况,您可能无法帮助 HDD。如果不是这种情况,也没什么好担心的,因为操作系统和缓存会做它们应该做的事情:)

关于c++ - 在多线程环境中读取/写入文件的最佳方式 (C++),我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/17237828/

相关文章:

c++ - GCC __attribute__ 在 32 字节处对齐的 AVX 向量化代码中的段错误

c++ - CRTP静态多态: is it possible to replace the base class with a mock?

c++ - notifyall 在 C++ 多线程中不工作。造成死锁

python - 从服务器上运行的 python 线程将数据推送到远程客户端

c++ - 为什么这个未使用的变量没有被优化掉?

c++ - 如何创建一个 DLL,它接受来自 MT4 的字符串并返回字符串类型?

android - 从另一个线程访问 View 时出现不可预测的行为

c - 从给出地址而不是值的文件中读取

c - 如何用C检查闪存设备的坏扇区?

c++ - 读取随机访问文件