我有一个包含内容的文件 foo.txt
foobar
我想不断追加到这个文件并访问修改后的文件。
MmapMut
我尝试的第一件事是直接改变 mmap:
use memmap;
use std::fs;
use std::io::prelude::*;
fn main() -> Result<(), Box<std::error::Error>> {
let backing_file = fs::OpenOptions::new()
.read(true)
.append(true)
.create(true)
.write(true)
.open("foo.txt")?;
let mut mmap = unsafe { memmap::MmapMut::map_mut(&backing_file)? };
loop {
println!("{}", std::str::from_utf8(&mmap[..])?);
std::thread::sleep(std::time::Duration::from_secs(5));
let buf = b"somestring";
(&mut mmap[..]).write_all(buf)?;
mmap.flush()?;
}
}
这将导致 panic :
Error: Custom { kind: WriteZero, error: StringError("failed to write whole buffer") }
生成的文件是somest
直接附加到支持文件
之后,我尝试直接附加到支持文件:
use memmap;
use std::fs;
use std::io::prelude::*;
fn main() -> Result<(), Box<std::error::Error>> {
let mut backing_file = fs::OpenOptions::new()
.read(true)
.append(true)
.create(true)
.write(true)
.open("foo.txt")?;
let mmap = unsafe { memmap::MmapMut::map_mut(&backing_file)? };
loop {
println!("{}", std::str::from_utf8(&mmap[..])?);
std::thread::sleep(std::time::Duration::from_secs(5));
let buf = b"somestring";
backing_file.write_all(buf)?;
backing_file.flush()?;
}
}
这不会导致 panic 。该文件会定期更新,但我的 mmap 不会反射(reflect)这些更改。我希望标准输出看起来像这样:
foobar
foobarsomestring
foobarsomestringsomestring
...
但是我得到了
foobar
foobar
foobar
...
我主要对依赖于平台的 Linux 解决方案感兴趣。
最佳答案
首先,根据我的理解,我会敦促您高度怀疑那个箱子。它允许您在安全的 Rust 中做您不应该不的事情。
例如,如果您有一个文件支持的 mmap,那么您计算机上对该文件具有正确权限的任何进程都可以修改它。这意味着:
- 将映射文件视为不可变 byte slice (
&[u8]
) 永远是无效的,因为它可能会发生变异! - 将映射文件视为可变 byte slice (
&mut [u8]
) 永远不会有效,因为可变引用意味着可以更改该数据的独占所有者,但您不这样做没有那个。
documentation for that crate 没有涵盖这些问题,也没有讨论您应该如何以安全的方式使用少数不安全
函数。对我来说,这些迹象表明您可能会在代码中引入未定义的行为,这是一件非常糟糕的事情。
例如:
use memmap;
use std::{fs, io::prelude::*};
fn main() -> Result<(), Box<std::error::Error>> {
let mut backing_file = fs::OpenOptions::new()
.read(true)
.append(true)
.create(true)
.write(true)
.open("foo.txt")?;
backing_file.write_all(b"initial")?;
let mut mmap_mut = unsafe { memmap::MmapMut::map_mut(&backing_file)? };
let mmap_immut = unsafe { memmap::Mmap::map(&backing_file)? };
// Code after here violates the rules of references, but doesn't use `unsafe`
let a_str: &str = std::str::from_utf8(&mmap_immut)?;
println!("{}", a_str); // initial
mmap_mut[0] = b'x';
// Look, we just changed an "immutable reference"!
println!("{}", a_str); // xnitial
Ok(())
}
因为人们通常不喜欢被告知“不,不要那样做,这是个坏主意”,这里是让你的代码“工作”的方法:直接附加到文件然后重新创建 mmap:
use memmap;
use std::{fs, io::prelude::*, thread, time::Duration};
fn main() -> Result<(), Box<std::error::Error>> {
let mut backing_file = fs::OpenOptions::new()
.read(true)
.append(true)
.create(true)
.write(true)
.open("foo.txt")?;
// mmap requires that the initial mapping be non-zero
backing_file.write_all(b"initial")?;
for _ in 0..3 {
let mmap = unsafe { memmap::MmapMut::map_mut(&backing_file)? };
// I think this line can introduce memory unsafety
println!("{}", std::str::from_utf8(&mmap[..])?);
thread::sleep(Duration::from_secs(1));
backing_file.write_all(b"somestring")?;
}
Ok(())
}
您可能希望在此文件中预先分配一个“大”空间 block ,这样您就可以打开它并开始写入,而不必重新映射它。
我自己不会将此代码用于任何重要数据正确的地方。
另见:
关于linux - 如何使用 memmap crate 附加到文件支持的 mmap?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/53714241/