swift - CoreML 模型在 coremltools 和 Xcode 之间产生不同的结果

Question

我创建了一个基于自定义 PyTorch CNN 模型的 .mlmodel 文件，方法是先将 PyTorch 模型转换为 ONNX，然后使用 onnx_coreml 将其转换为 CoreML。使用虚拟数据(一个 3 x 224 x 224 数组，其中每个值都是 1.0)，我已经验证 PyTorch 模型、ONNX 模型(使用 Caffe 后端运行)和 CoreML 模型(使用 coremltools)都产生相同的结果.

但是，当我将同一模型导入 Xcode 并在手机上运行时，即使使用虚拟数据，模型输出也不匹配。

我使用的设备似乎没有什么不同(我试过从 XS Max 一直到 SE 的 iPhone)。全部运行 iOS 12.2，并使用 Xcode 10.2.1

这是我用来创建虚拟数据并从我的模型中获得预测的代码(在 Swift 中):

let pixelsWide = Int(newImg.size.width)
let pixelsHigh = Int(newImg.size.height)
var pixelMLArray = try MLMultiArray(shape: [1, 1, 3, 224, 224], dataType: .float32)
for y in 0 ..< pixelsHigh {
    for x in 0 ..< pixelsWide {
        pixelMLArray[[0,0,0,x,y] as [NSNumber]] = 1.0
        pixelMLArray[[0,0,1,x,y] as [NSNumber]] = 1.0
        pixelMLArray[[0,0,2,x,y] as [NSNumber]] = 1.0
    }
}

do {
    let convModel = CNNModel()
    var thisConvOutput = try convModel.prediction(_0: pixelMLArray)._1161
} catch { print("Error") }

我已验证输入和输出标签是否正确，等等。 这运行顺利，但 thisConvOutput 的前三个值是: [0.000139, 0.000219, 0.003607]

为了比较，运行 PyTorch 模型的前三个值是: [0.0002148、0.00032246 和 0.0035419]

以及使用 coremltools 的完全相同的 .mlmodel: [0.00021577, 0.00031877, 0.0035404]

长话短说，没有使用 Swift 的经验，我想知道我在初始化/填充我的“pixelMLArray”以通过我设备上的 Xcode 中的模型运行它时是否做了一些愚蠢的事情，因为 .mlmodel 来自coremltools 非常接近我使用 PyTorch 得到的结果。谁能帮忙？

Answer 1

您在设备上的 Core ML 输出:[0.000139, 0.000219, 0.003607]

coremltools 的输出:[0.00021577, 0.00031877, 0.0035404]

请注意，这些都是非常小的数字。当 Core ML 在 GPU 上(也可能在神经引擎上，不确定)运行你的模型时，它使用 16 位浮点。它们的精度比 32 位浮点小得多。

请注意 0.000139 和 0.00021577 不是同一个数字，但它们都在 1e-4 左右。这低于 16 位 float 的精度限制。但是 0.003607 和 0.0035404 几乎是相同的数字，因为它们大约大 10 倍，因此不会损失那么多的精度。

尝试在使用 CPU 的设备上运行您的 Core ML 模型(您可以在实例化模型时为此传递一个选项)。您可能会发现现在获得的结果与 coremltools 版本更接近(并且可能相同)，因为 CPU 上的 Core ML 使用 32 位 float 。

结论:从您目前所展示的内容来看，您的模型似乎按预期工作，考虑到由于使用 16 位浮点进行计算，您将失去精度。