tensorflow - 转换 Mozilla DeepSpeech 模型以在 tensorflow.js 环境中使用

Question

我一直在尝试在 ml5.js soundClassifier 层中转换 Mozilla Deepspeech 训练模型以用于 tensorflow.js。我的理解是 Mozilla DeepSpeech 使用 TensorFlow。我一直在尝试遵循此处的提示:

https://www.tensorflow.org/js/tutorials/conversion/import_saved_model

https://www.tensorflow.org/js/guide/conversion

tensorflowjs_converter --help

我已经从这里下载了 DeepSpeech 模型:

https://github.com/mozilla/DeepSpeech/releases/download/v0.6.1/deepspeech-0.6.1-models.tar.gz

解压后得到如下文件:

lm.binary output_graph.pb output_graph.pbmm output_graph.tflite trie

我尝试运行如下命令:

tensorflowjs_converter --output_format=tfjs_graph_model --saved_model_tags=serve deep/tensorflow.js/

和变体来进行转换。 tensorflow.js/ 是我创建的目录，deep/ 是包含 DeepSpeech 模型文件(上面列出的)的目录

我得到错误:

SavedModel 文件不存在于:deep/saved_model.pb/{saved_model.pbtxt|saved_model.pb}

例如，我将 output_graph.pb 重命名为 saved_model.pb。

首先，我想知道 DeepSpeech 模型是否与 tensorflowjs_converter 兼容，如果兼容，我缺少什么才能让这个东西工作。

Answer 1

我相信 output_graph.pb 是一个卡住模型。在这种情况下，您需要像这样运行转换器:

tensorflowjs_converter \
    --input_format=tf_frozen_model \
    --output_node_names='logits' \
    deepspeech/output_graph.pb \
    tensorflowjs

但是，这样做会导致以下错误:

ValueError: Unsupported Ops in the model before optimization
BlockLSTM, Mfcc, AudioSpectrogram

BlockLSTM、Mfcc 和AudioSpectrogram 目前 TensorFlow.js 不支持操作，因此转换将失败:

• https://github.com/tensorflow/tfjs/issues/1728