android - 对象检测器上的 Tensorflow Lite GPU 支持

Question

我已阅读页面 https://www.tensorflow.org/lite/performance/gpu 我想知道是否有人可以帮助我弄清楚如何调整我对“MobileNet SSD 对象检测”的输入。你只会得到一个文件:“mobile_ssd_v2_float_coco.tflite”

我试过 320x320*3*4，因为如果我尝试 300x300 的“旧”图像分辨率，我会收到一条错误消息，指出数组大小不匹配，而新大小匹配 320x320。

但是现在当我调用 run(input, output) 时，该方法永远不会返回......没有错误或任何东西:(

有没有人有什么建议，因为我现在真的在抓救命稻草。

提前谢谢你。

Answer 1

您可以通过在 python 中执行此命令来检查某些模型的规范 How to convert output from interpreter.run in java打印 input_details 结果:

[{'name': 'normalized_input_image_tensor', 'index': 306, 'shape': array([  1, 320, 320,   3], dtype=int32), 'dtype': <class 'numpy.float32'>, 'quantization': (0.0, 0)}]

数组形状 [1, 320, 320, 3] 所以输入必须是 320x320 的图像。 输出细节:

[{'name': 'raw_outputs/box_encodings', 'index': 307, 'shape': array([   1, 2034,    4], dtype=int32), 'dtype': <class 'numpy.float32'>, 'quantization': (0.0, 0)}, {'name': 'raw_outputs/class_predictions', 'index': 308, 'shape': array([   1, 2034,   91], dtype=int32), 'dtype': <class 'numpy.float32'>, 'quantization': (0.0, 0)}]

我们有 2 个输出，形状如下:[1, 2034, 4] 和 [1, 2034, 91] 所以准备 2 个具有精确大小的数组，例如在 java android 中

private float[][][] out1;
private float[][][] out2;
out1 = new float[1][2034][4];
out2 = new float[1][2034][91];

然后将它们添加到映射示例 java:

private Map<Integer, Object> output_map = new TreeMap<>();
output_map.put(0, out1);
output_map.put(1, out2);

并运行:

tflite.runForMultipleInputsOutputs(input_data, output_map);

tflite - 解释器，input_data - 转换后的图像

您将拥有数组中的数据。我假设在 out1 中是边界框坐标，在 out2 中是类/分数？您需要进行更多测试。

示例代码 https://github.com/tensorflow/tensorflow/tree/master/tensorflow/lite/java/demo/app/src/main/java/com/example/android/tflitecamerademo 当然你需要做一些改变，所以它会与对象检测模型一起工作。