我目前正在尝试查找大文件中字符串的偏移量。我知道该字符串只出现一次,但文件中的位置可能会有所不同。
我的第一个想法是先将文件(可能有几百兆)读入内存,以加快搜索速度。
然而,这很可能会导致获取内存中的偏移量,而不是实际的文件偏移量。
我如何获得文件偏移量?我能以某种方式将内存偏移量映射到文件偏移量吗?或者是否有直接在文件系统上执行此操作的高效方法?
一些引用代码:
char *buffer;
long fsize = 0;
FILE *fd = fopen("data.bin", "r");
if (fd == NULL)
{
printf("file I/O error.\n");
return 0;
}
fseek(fd, 0, SEEK_END);
fsize = ftell(fd);
fseek (fd, 0, SEEK_SET);
buffer = malloc(fsize);
if (buffer == NULL)
{
printf("error allocating memory.\n");
return 0;
}
fread(buffer, fsize, 1, fd);
fclose(fd);
// FIND STRING "MAGIC" and return FILE offset
如何从这里开始?如上所述,性能是一个重要方面。
最佳答案
最简单、最有效和最节省资源的方法不是将文件读入缓冲区,而是将其内存映射并搜索字符串,然后像这样:
int fd = open(filename, O_RDONLY);
off_t length = lseek(fd, 0, SEEK_END);
void *data = mmap(NULL, length, PROT_READ, MAP_PRIVATE, fd, 0);
void *ptr = memmem(data, length, key, keylen);
size_t offset = ptr-data;
munmap(data, length);
close(fd);
这有很大的优势,你不必关心读取文件的内存管理,操作系统会为你做这一切(包括缓存,预读等。pp.)。如果系统内存不足,操作系统将自动丢弃文件的内存页面。
关于c - 如何获取大型(二进制)文件中字符串的偏移量?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/54160287/