我需要读取几个输入文件(每个文件都包含一个二维整数矩阵)并将它们存储在一个二维 vector vector 中。下面是我写的代码:
int main(int argc, char *argv[]) {
/*
int my_rank;
int p;
MPI_Init(&argc, &argv);
MPI_Comm_rank(MPI_COMM_WORLD, &my_rank);
MPI_Comm_size(MPI_COMM_WORLD, &p);
*/
std::vector<std::vector<std::vector<int > > > matrices(argc);
for(int i=1; i<argc; ++i){
std::string line;
std::ifstream fp(argv[i]);
std::vector<std::vector<int> > matrix;
if (fp.is_open()) {
while (getline(fp, line)) {
if(line!=""){
//add a new row to file
std::vector<int> newRow;
//parse each row put the values in the file buffer
std::stringstream buff(line);
//buffValue is each number in a row
int buffValue;
while (buff >> buffValue) {
newRow.push_back(buffValue);
}
matrix.push_back(newRow);
}
}
}
else {
std::cout << "Failed to read files" << std::endl;
}
matrices.push_back(matrix);
}
//MPI_Finalize();
return 0;
}
这里有两个问题:
当我读入一个 175M 的文件时,程序最终占用了 900M 的常驻内存。这是一个问题,因为我通常需要读入 4 个文件,每个文件有几百 M。它最终会占用多个 G 的内存。这是因为我读取/存储整数的方式吗?
如果我取消注释涉及 MPI 的行,常驻内存使用量会上升到 1.7G,这是正常现象还是我这里做错了什么,我正在使用 MPICH。
最佳答案
Vector-of-vector-of-vector 不是一个有效的结构。你有 vector 类本身的内存开销,加上 push_back
的标准行为.
A vector
当需要在 push_back
之后调整大小时,内存将呈指数增长,以满足时间复杂度要求。如果您的 vector 容量当前为 10 个值,而您添加 11 个值,那么它很可能会将其容量调整为 20 个值。
这种增长的一个副作用是潜在的内存碎片。 vector 内存被定义为连续的。标准分配器没有 realloc
能力,就像在 C 中一样。因此,他们必须在其他地方分配更多内存,移动数据并释放旧存储。这会在内存中留下漏洞,您的程序无法将其用于其他任何用途。更不用说减少数据的缓存位置,从而导致性能不佳。
你最好为你的矩阵创建一个内存效率更高的二维结构,然后将它们推送到 deque
上。而不是 vector
. Here's one I prepared earlier ;) .至少,如果您必须对矩阵使用 vector 的 vector ,则使用 vector::reserve
对其进行预分配。 .
如果内存对您来说比 I/O 更重要,那么读取文件两次也不是不可能的。第一次,您获得有关矩阵大小和行长度的信息。然后预分配所有结构,并再次读取文件。
否则,使用某种临时池来存储矩阵的值是可以接受的:
std::deque< std::vector< std::vector< int > > > matrices;
std::vector< size_t > columns; // number of columns, indexed by row
std::vector< int > values; // all values in matrix
columns.reserve( 1000 ); // Guess a reasonable row count to begin with
values.reserve( 1000000 ); // Guess reasonable value count to begin with
while( getline(fp, line) ) {
if( line.empty() ) {
AddMatrix( matrices, columns, values );
} else {
std::istringstream iss( line );
size_t count = 0;
for( int val; iss >> val; ) {
values.push_back( val );
count++;
}
columns.push_back( count );
}
}
// In case last line in file was not empty, add the last matrix.
AddMatrix( matrices, columns, values );
然后像这样添加矩阵:
void AddMatrix( std::deque< std::vector< std::vector< int > > > & matrices,
std::vector< size_t > & columns,
std::vector< int > & values )
{
if( columns.empty() ) return;
// Reserve matrix rows
size_t num_rows = columns.size();
std::vector< std::vector< int > > matrix;
matrix.reserve( num_rows );
// Copy rows into matrix
auto val_it = values.begin();
for( size_t num_cols : columns )
{
std::vector< int > row;
row.reserve( num_cols );
std::copy_n( val_it, num_cols, std::back_inserter( row ) );
matrix.emplace_back( row );
val_it += num_cols;
}
// Clear the column and value pools for re-use.
columns.clear();
values.clear();
}
最后,我建议你从 <cstdint>
中选择一个合适的整数类型而不是将其留给编译器。如果只需要 32 位整数,请使用 int_least32_t
.如果您的数据范围适合 16 位整数,您将通过使用 int_least16_t
节省大量内存。 .
关于c++读取文件并将整数存储在 vector 中。最终占用的内存比实际文件大小多 5 倍,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/36047425/