我正在开发 C++ 程序 (C++ 98)。它读取一个包含很多行(10000 行)的文本文件。这些是制表符分隔值,然后我将其解析为 Vector 对象的 Vector。然而,它似乎适用于某些文件(较小),但我的一个文件给我以下错误(该文件有 10000 行,大小为 90MB)。我猜这是一个内存相关的问题? 你能帮帮我吗?
错误
terminate called after throwing an instance of 'std::bad_alloc'
what(): std::bad_alloc
Abort
代码
void AppManager::go(string customerFile) {
vector<vector<string> > vals = fileReader(customerFile);
for (unsigned int i = 0; i < vals.size();i++){
cout << "New One\n\n";
for (unsigned int j = 0; j < vals[i].size(); j++){
cout << vals[i][j] << endl;
}
cout << "End New One\n\n";
}
}
vector<vector<string> > AppManager::fileReader(string fileName) {
string line;
vector<vector<string> > values;
ifstream inputFile(fileName.c_str());
if (inputFile.is_open()) {
while (getline(inputFile,line)) {
std::istringstream iss(line);
std::string val;
vector<string> tmp;
while(std::getline(iss, val, '\t')) {
tmp.push_back(val);
}
values.push_back(tmp);
}
inputFile.close();
}
else {
throw string("Error reading the file '" + fileName + "'");
}
return values;
}
最佳答案
您的代码没有任何问题,您只是在一个可能具有较小内存限制的平台上运行,可能是一个旧的编译器和一个旧的 C++ 库。这一切都在密谋反对你。你必须微优化:(
这是你可以做的,首先从最低的挂果开始:
试运行文件,只计算行数。然后
values.resize(numberOfLines)
,寻找开始,然后才读取值。当然,您不会再使用values.push_back
,而只会使用values[lineNumber] = tmp
。在向其添加时调整values
vector 的大小可能会使您的进程临时所需的内存量增加一倍以上。在该行的末尾,执行
tmp.resize(tmp.size()
- 它会缩小 vector 以适合数据。您可以通过将所有值存储在一个 vector 中来减少现有代码的开销。
如果每行有不同数量的元素,但您稍后按顺序访问它们,您可以存储一个空字符串作为内部分隔符,它的开销可能低于 vector 。
<如果每行具有相同数量的值,则按行拆分它们会增加不必要的开销 - 您知道每行中第一个值的索引,它只是
lineNumber * valuesPerLine
,其中第一行有数字0
。
内存映射文件。将每个单词的开头和结尾存储在一个 vector 的结构元素中,如果您需要将其分成几行,也可能带有行号。
关于C++ std::bad_alloc 错误,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/19237042/