我有一个大文件要逐行读取并对每一行做一些处理。我在 c/c++ 中想出了最简单的程序,如下所示,但我想知道我是否可以得到一些帮助以使其更快(使用 threading
或 fopenmp
等) .
FILE *fp=fopen(argv[1], "r");
char line[500];
while(fgets(line, 500, fp) != NULL){
line[strlen(line)-1] = '\0';
/* do dome processing on each line */
for(int i=0; i<strlen(line)-k+1; i++){
/* do something for each k-length substring */
}
}
这需要大量时间,因为我的文件包含 5 亿行。我尝试通过首先存储行然后逐行处理行来使用较小的文件,这样速度更快。在这里我不能存储所有 5 亿行,因为它们会占用巨大的空间。
我是编程新手,所以任何有助于提高编程效率的帮助都将不胜感激。
最佳答案
这个问题更适合代码审查。不管怎样,如果你在 Windows 上,你可以做一些优化。
- 将 CreateFile 与 OVERLAPPED 参数一起用于异步 IO。
- ReadFile 将文件 block 读入内存
- 在您的 ReadFile 子例程中创建多个 std::thread,每个在文件的不同部分。
关于c++ - 更快的阅读和更快的处理,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/48451450/