java - 从文本文件中读取一大行字符串

Question

我有一个很大的文本文件，但没有任何换行符。它只包含一个长字符串(一大行字符串和所有 ASCII 字符)，但到目前为止一切正常，因为我可以用 Java 将整行读入内存，但我想知道是否有内存泄漏问题，因为文件变得像 5GB+ 一样大，并且程序无法一次将整个文件读入内存，所以在这种情况下，读取此类文件的最佳方法是什么？我们可以将这条巨大的线分成两部分甚至多个 block 吗？

这是我读取文件的方式

   BufferedReader buf = new BufferedReader(new FileReader("input.txt"));
   String line;
   while((line = buf.readLine()) != null){

   }

Answer 1

单个字符串只能有 20 亿个字符长，每个字符将使用 2 个字节，因此如果您可以读取 5 GB 的行，它将使用 10 GB 的内存。

我建议您分块阅读文本。

Reader reader = new FileReader("input.txt");
try {
    char[] chars = new char[8192];
    for(int len; (len = reader.read(chars)) > 0;) {
        // process chars.
    }
} finally {
    reader.close();
}

无论文件大小，这将使用大约 16 KB。