我有这个代码:
public static void main(String[] args) {
System.out.println("Reading file...");
String content = readFile(args[0]);
System.out.println("Done reading file.");
}
private static String readFile(String file) throws IOException {
BufferedReader reader = new BufferedReader( new FileReader (file));
String line = null;
StringBuilder stringBuilder = new StringBuilder();
while( ( line = reader.readLine() ) != null ) {
stringBuilder.append( line );
}
return stringBuilder.toString();
}
readFile
对于小文件,该方法效果很好。
我注意到它占用了太多内存。
如果我在 Windows 上打开系统监视器 (CTRL-SHIFT-ESC),我会看到 java 进程占用了 1.8GB RAM,而我的文件大小仅为 550MB。
是的,我知道,将文件完全加载到内存中并不是一个好主意,我这样做只是出于好奇。
程序卡在 Reading file...
当新创建的 java 进程启动时,它需要大量 MB 的 RAM,最高可达 1.8GB。
我还尝试使用字符串连接而不是使用 StringBuilder
,但我得到了完全相同的结果。
为什么要占用这么多内存?是最后的stringBuilder.toString
造成这个?
最佳答案
你必须记住这些库是如何工作的。
磁盘上的一个字节可以变成 2 字节字符。 StringBuilder 的容量会增加一倍,因此它可以达到您实际需要的两倍,并且您需要同时在内存中使用 StringBuilder 和 String。
就拿你的例子来说吧。仅以 char
形式,550 MB 就可以变成 1100 MB。然而,大小加倍,因此它大约是 2 的下一个幂,即它可能是 2 GB,并且它位于 550 MB 的字符串之上。
注意:它没有使用这么多内存的原因是你有一个错误。您将丢弃所有新行 \r\n
这意味着您的字符数较少。
在处理大文件时,如果您没有足够的内存将其立即加载到内存中,最好在读取数据时对其进行处理。
顺便说一句,如果您有足够的内存,您可以更快地读取文件,这样可以减少内存。
static String readFile(String file) throws IOException {
try(FileInputStream fis = new FileInputStream(file)) {
byte[] bytes = new byte[(int) fis.available()];
fis.read(bytes);
return new String(bytes);
}
}
关于java - 将文件内容存储到 StringBuilder 显然占用了太多内存,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/25365597/