tensorflow - 当我从修剪中得到稀疏矩阵时，如何加快 TensorFlow 中的推理速度？

Question

我从 Tensorflow-pruning 得到了一个稀疏权重矩阵减少 SqueezeNet .后 strip_pruning_vars ，我检查了权重矩阵中的大部分元素成功修剪为 0。但是，模型的性能并没有像我预期的那样增加。似乎需要额外的软件库或硬件来支持稀疏矩阵运算。有人告诉我使用 Intel-MKL库会有所帮助，但我不知道如何将它与 Tensorflow 集成。现在，我有 .pb修剪过的 SqueezeNet 文件。任何类型的帮助将不胜感激。

Answer 1

您可以尝试面向 TensorFlow* Wheel 的英特尔® 优化。

建议使用 Intel 环境。

请按照以下步骤操作。

使用以下命令创建 conda 环境:
conda create -n my_intel_env -c intel python=3.6

激活环境。
source activate my_intel_env

安装轮子
pip install https://storage.googleapis.com/intel-optimized-tensorflow/tensorflow-1.11.0-cp36-cp36m-linux_x86_64.whl

更多详情可以引用https://software.intel.com/en-us/articles/intel-optimization-for-tensorflow-installation-guide

安装后，您可以通过在 python 提示符下执行以下命令来检查是否启用了 mkl。

from tensorflow.python.framework import test_util
test_util.IsMklEnabled()

如果启用了 mkl，这应该返回“True”。

希望这可以帮助。