c# - VR 中 2D 手势识别的最佳方法？

Question

我是一款使用 HTC Vive roomscale VR 耳机进行手势识别的游戏的开发者，我正在努力提高手势识别的准确性。

(游戏，上下文:http://store.steampowered.com//app/488760。这是一款通过在空中绘制符号来施法的游戏。)

目前，我正在使用 1 美元算法进行 2D 手势识别，并使用绑定(bind)到玩家水平旋转的正交相机来展平玩家在空间中绘制的手势。

但是，我确信必须有更好的方法来解决这个问题!

我必须在说明中以 2D 形式表示手势，因此理想情况下我想:

找到压平手势的最佳向量。 将其展平到二维空间中。 使用最好的手势识别算法来识别它是什么手势。

如果在所有情况下都能接近 100% 准确率，那就太好了。例如，目前，当玩家在激烈的战斗中试图画一个圆圈时，游戏往往会感到困惑，并且假设他们正在画一个 Z 形。

欢迎所有建议。提前致谢。

Answer 1

信不信由你，但我在两个月前发现了这篇文章，并决定通过准备一个用于识别 VR 中的魔术手势的 Unity 包来测试我的 VR/AI 技能。现在，我带着完整的 VR 演示回来了:https://ravingbots.itch.io/vr-magic-gestures-ai

识别系统跟踪手势向量，然后将其投影到二维网格上。如果您希望系统使用 3D 形状，也可以非常轻松地设置 3D 网格，但不要忘记提供适当的训练集来捕获大量形状变化。

当然，这个包是通用的，你也可以将它用于非魔法应用。该代码有据可查。呈现为 PDF 的在线文档有 1000 多页:https://files.ravingbots.com/docs/vr-magic-gestures-ai/

该软件包已通过 HTC Vive 测试。逐步添加对 Gear VR 和其他 VR 设备的支持。