python - 安装具有量化支持的 Tensorflow

Question

这是我另一个问题的后续:Error with 8-bit Quantization in Tensorflow

基本上，我想安装支持 8 位量化的 Tensorflow。目前，我在CentOS 7机器上使用pip安装方法安装了Tensorflow 0.9(不支持GPU)。

我可以编译并运行 Pete Warden 博客文章中给出的代码。但是，我无法导入 Pete Warden 回复中给出的函数。我想添加量化支持。我在 Tensorflow 文档中也找不到有关量化部分的任何详细信息。

有人可以分享如何做到这一点的详细信息吗？

Answer 1

暂时，我可以找到一种方法来做到这一点。但仍在等待任何 TensorFlow 开发人员的官方方法。

1. 首先安装tensorflow(我尝试了源码安装和PIP安装，都可以)
2. 从 Github 存储库获取 TensorFlow 源代码并转到 TensorFlow 根目录(我将其称为 tensorflow_root。
3. 现在编译 Pete Warden's blog 中给出的量化脚本

bazel 构建tensorflow/contrib/quantization/tools:quantize_graph

这将为量化版本创建操作库。转到tensorflow_root/bazel-bin/tensorflow/contrib/quantization，您应该看到两个库文件:_quantized_ops.so和kernels/_quantized_kernels.so

现在，在您的脚本中，您还应该使用专用的tensorflow函数导入这两个库文件以及tensorflow

您可以使用tf.load_op_library()函数来完成

import tensorflow as tf
qops = tf.load_op_library('[tensorflow_root]/bazel-bin/tensorflow/contrib/quantization/_quantized_ops.so')
qkernelops = tf.load_op_library('[tensorflow_root]/bazel-bin/tensorflow/contrib/quantization/kernels/_quantized_kernels.so')