我使用 boost 映射文件库打开一个文件。 是否可以在此映射文件上使用“fetch_add”(在某个位置读取值,然后与另一个位置相加并自动写回同一位置)?
如果多个线程并行写入,则在不涉及原子性的情况下可能会出现问题
该文件为二进制格式,包含整数或 double (取决于具体文件)。
我也尝试过锁/互斥锁,但在使用多线程时它们总是会减慢我的程序速度。与算法的其余部分相比,在锁定区域花费的时间太大了,并且线程相互阻塞。
有没有更好的方法可以让多个线程高性能地写入映射文件?
谢谢。 拉兹
最佳答案
是否有多个进程映射此文件,或者只是多个线程?
如果多个进程同时访问此内存映射文件,您必须执行自己的(进程间)同步。
如果只是多个线程,那么您可以以与任何其他内存字相同的方式自动更新内存,但需要注意的是您不能使用 std::atomic
(因为显然字节直接对应于文件中的一个部分,而不是对应于 std::atomic
结构)。
因此,您必须诉诸于使用特定平台对原子修改内存的支持,即在 x86 上通过 InterlockedIncrement
锁定 xadd 。在 Win32 上(或 __sync_fetch_and_add
使用 g++)。请小心确保内存排序语义(和返回值!)符合您的预期。
以独立于平台的方式包装特定于平台的函数(如果您需要的话)可能会有点麻烦,因此在这种情况下,我建议将并发访问的数据保存在单独的std::atomic
变量,然后在最后更新一次相应的文件字节。
请注意,所有这些都与内存映射正交 - 操作系统使用按需换入换出的页面来支持内存映射文件,并且管理这些页面的内存管理单元与管理这些页面的内存管理单元相同。处理任意其他(非映射)页面,因此页面本身可以由多个线程修改,而不必担心通常(应用程序级)数据竞争之外的任何事情。
关于C++:内存映射文件上的 Fetch_add,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/26474604/