file - 如何逐行读取可能不是有效 UTF-8 的文件？

Question

我有一个非常大的文件，应该由 JSON 字符串组成。但是，当我使用以下代码时，我收到“流不包含有效的 UTF8”。

let file = File::open("foo.txt")?;
let reader = BufReader::new(file);

for line in reader.lines() {
    println!("{}", line?);
}

Ok(())

现在的答案是使用 Vec<u8>而不是String 。但我见过的所有代码都有 file.read_to_end(buf)作为答案，它不适用于我必须使用的文件大小。

我正在寻找的是逐行读取文件，使用有损 utf8 转换，然后进行一些计算并将输出推送到另一个文件。

Answer 1

您可以使用BufReader的read_until功能。它与 File 的 read_to_end 非常相似，但也采用字节分隔符参数。该分隔符可以是任何字节，换行符 \n 字节适合您。之后，您可以将缓冲区从 UTF-8 进行有损转换。它看起来像这样:

let file = File::open("foo.txt")?;
let mut reader = BufReader::new(file);
let mut buf = vec![];

while let Ok(_) = reader.read_until(b'\n', &mut buf) {
    if buf.is_empty() {
        break;
    }
    let line = String::from_utf8_lossy(&buf);
    println!("{}", line);
    buf.clear();
}

Ok(())

当然，这可以抽象为迭代器，就像 Lines 一样。完成了，但是基本逻辑和上面是一样的。

注意:与 lines 函数不同，生成的字符串将包含换行符和回车符 (\r)(如果有)。如果解决方案的行为必须与 lines 函数相匹配，则需要去掉这些字符。