C++ CPU 未充分利用

Question

我在 C++ 中遇到了一个奇怪的性能下降问题，有人可以帮我找出问题所在吗？

我正在做一个基于特征库的样本外预测问题。我使用扩展窗口方法合并新的观察 vector ，并使用 LBFGS 方法最大化似然函数。

具体来说，在 for 循环中，我选择数据 mY 的子集 block Y (Y = mY.block(0,0,24,756+ i))，并使用该数据子集通过callLBFGS函数估计参数并将估计值存储在vP vector 中(我通过引用传递vP)。接下来，我将 vP 的值复制到结果矩阵 mRet 中，最后将 mRet 写入 csv 文件。

我将 WriteCSV 放入循环中的原因是 callLBFGS 非常耗时。如果优化失败，我想中止程序和调试，但我不想失去我已经优化过的估计，所以每次它完成一个循环时我都会将它写入 csv。我根本看不到将 WriteCSV 放入循环中的问题，因为 callLBFGS 通常最多需要 10 分钟，但通常将 102 x 40 矩阵写入 csv需要几毫秒。

这是我的问题:我编写的callLBFGS 函数是使用 OpenMP 的多线程，没有将 WriteCSV 函数放在循环中，CPU 利用率是95%-100%，但在循环内使用 WriteCSV 函数，CPU 使用率下降到 50%-60%。

考虑到 callLBFGS 比 WriteCSV 消耗的时间多数千倍，这非常奇怪并且超出了我的知识范围。 CPU 不应该在调度和 fork 新线程上花费太多时间。有人可以帮我找出问题所在吗？非常感谢!

MatrixXd mY = mData.transpose();

double adFunc;
char *Result = "BFGSEst.csv";

VectorXd vP(102);
MatrixXd Y;
Matrix<double,102,40> mRet;
vP = IniPar.col(0);

for (int i = 0; i < 40; ++i) {

    Y = mY.block(0,0,24,756+i);
    callLBFGS(vP,&adFunc,Y,10000);
    mRet.col(i) = vP;
    WriteCSV(Result,mRet);  /*this is the killer*/
}

我的函数 callLBFGS 和 WriteCSV 如下所示:

void callLBFGS(VectorXd &vP, double *adFunc, MatrixXd &Y, int MaxIter);
void WriteCSV(char *filename, MatrixXd X);

编辑* 非常感谢您的所有回复。下面是我对 WriteCSV 的实现，非常幼稚。澄清一下，我说 callLBFGS takes up to 10 mins 是 each call callLBFGS 最多需要 10 分钟(多维最小化)。所以整个循环需要几个小时才能完成。我知道如果 callLBFGS 和 WriteCSV 消耗相似的时间，CPU 不会被充分利用也就不足为奇了。但是这里是WriteCSV比callLBFGS花费的时间要少得多，我不应该期望在callLBFGS的过程中CPU使用率下降那么大>.

void WriteCSV(char *filename, MatrixXd X){
  ofstream myfile;
  myfile.open (filename);

  for (int i = 0; i < X.rows(); ++i)
  {
      for (int j = 0; j < X.cols(); ++j)
      {
          myfile<<X(i,j);
          if (j!=X.cols()-1)
          {
             myfile<<",";
          }else{
             myfile<<"\n";
          }
      } 
  }
  myfile.close();
}

Answer 1

抱歉，这应该只是一条评论，但我还不能

可能在 MatrixXd<> 中无形地发生了惰性求值。

延迟评估可能发生在 WriteCSV(...) 中，这与必然的单线程 IO 相结合会降低您的总 CPU 利用率。

延迟或惰性评估可以在任何地方，但可能隐藏在简单的检索或复制语句中，例如:

mRet.col(i) = vP;

或

myfile<<X(i,j);

其他发帖者可能都更正确，我赞同将 IO 线程化的建议。