C++ Tensorflow，如何使用多线程制作session-> Run()，或者花费更少的时间

Question

我在 CPU 上运行以下所有内容。 我运行示例 ensorflow/examples/label_image 花费 7~8 秒。据我所知，python 花费大约 0.5 秒来处理相同的样本，这是因为“TensorFlow Session 对象是多线程的，因此多个线程可以轻松地使用相同的 session 并并行运行操作。”。 但是，如何使用 C++ 在 Session 上设置多线程。

我尝试... 我在“tensorflow/tensorflow/core/common_runtime/direct_session.cc”中硬编码第 81 行: “const int32 num_threads = 16；” 但是，它不起作用。

我如何设置一些配置或我应该做什么？

Answer 1

使用多线程怎么样？

std::vector<std::thread> threads;

for (std::size_t i = 0; i < 10; ++i) {
   threads.push_back(std::thread([&]{ session->Run(); })); 
}


for (std::size_t i = 0; i < 10; ++i) {
   threads[i].join();
}