android - 创建一个 Android - Controller - SteamVr 通信

Question

我正在尝试做的是: 我的智能手机将其方向(陀螺仪、加速器和磁力的融合)发送到 Controller ， Controller 进一步处理数据以使其可供 SteamVr 访问，而 SteamVr 又应该向我发送我想要发送回我的智能手机的帧。

到目前为止我取得的成就: 我实现了一个基本的 android 程序，它已经捕获了它的方向，将它打包成一个 UDP 数据报并将它发送到一个给定的 IP 地址。

我写了一个小的 Java 程序来验证它的功能，它已经可以工作了。

现在我要前往第 2 步:将此数据提供给 SteamVr。 现在我不关心将视频流回 android。

假设我想使用更高级的语言，如 C# 或 Java，有人可以为我提供帮助吗？我可以为此使用 OpenVr 吗？如果是，怎么办？ (这没有很好的记录)。

编辑:

我有一个临时解决方案。我将使用 FreePie 通过 UDP 将方向发送到 OpenTrack(我修改了 FreePie.apk 以使结果更加平滑)。 OpenTrack 通过 UDP 将其发送到本地主机。

我必须修改 SteamVr 以使用 Null-Driver 才能接受 不存在的 HMD。

HeadTracking 和 Stream via Moonlight 效果很好，但现在 还有一个问题: 当 SteamVR 启动全屏 HMD 显示窗口时，我无法 使用任何游戏的常用输入。

游戏通常在一个单独的窗口中启动，该窗口接受 在 HMD 显示 VR 体验时输入。 现在，VR-Window 有一个大问题。 当不在焦点上时，它既不显示也不接受来自 OpenTrack 的输入。 这意味着没有视频，没有 Headtracking。 有些游戏以 VR 模式开始，所以我可以使用 此窗口获取键盘输入和视频，但 Headtracking 被禁用， 如前所述。

简而言之: - FreePie -> OpenTrack -> SteamVR NULL-Driver - 月光 -> Android 适用于不需要输入的一切

唯一的解决方案是: 第二个显示。 - 将第二个显示器设置为主显示器。 - 将所有内容移动到第二个扩展显示器 - 启动 steamVR(将在第二个显示器中打开)， - 开始游戏。 现在当焦点切换到 VR-Window 时它突然出现 在 PC 的主要插入显示器上(仅在笔记本电脑 + 电视上测试过)。 所以 Moonlight 将在第二个(当前主)屏幕焦点时捕获视频 在 GameWindow 上捕获输入。

我的新问题是: 如何解决对第二个显示器的需求？

Answer 1

好的。这是我的解决方案和指南:

如何将 Android 智能手机用作 SteamVr 的 VR-HMD

您的需求:

硬件:

• 2 部智能手机(1 部用于 VR 的智能手机，一部可以很便宜，平板电脑也可以)
• 支持 Nvidia GameStream 的 PC，具有足够的 VR 能力

软件:

• SteamVr
• OpenVr-OpenTrack ( https://github.com/r57zone/OpenVR-OpenTrack )
• OpenTrack 2.3-rc20(我选择这个是因为只有可提取的 zip 适合我)
• 适用于 Android 的 FreePIE IMU apk(它已经在 OpenTrack 文件夹中)
• 适用于 Windows 和 Android 的 Spacedesk
• Android 月光

如何:

• 安装 Steam 和 SteamVR(以及您想玩的任何游戏)
• 安装 OpenVR-OpenTrack(按照页面上的指南进行操作)
• 安装 OpenTrack
• 在 Android 手机上为 VR 安装 FreePIE IMU
• 在 Android 手机上为 VR 安装 Moonlight

现在确保 VR-Phone 和您的 PC 在同一个网络中。 在 OpenTrack 中设置:

Tracker -> FreePIE UDP 接收器，Pitch +180。 将端口设置为与 FreePIE Android App 中的端口相同

协议(protocol) -> UDP 接收器 IP: 127.0.0.1 端口:4242

如果您启动 FreePIE 应用程序和 OpenTrack，您应该会看到它正在运行。

后续步骤:

• 在 Windows 和廉价手机上安装 Spacedesk
• 连接两者。
• 在 PC 上设置为扩展显示。

• 将第二个显示器设为主显示器

• 现在启动 SteamVR 和您的游戏(游戏应处于窗口模式)。

• 将游戏窗口移动到第二个(主)显示器(如果还没有的话)。
• 关注 SteamVR-Window(现在应该是红色/黑色的那个)
• 点击进入屏幕。

窗口现在应该显示在您的 PC 显示器上，同时 游戏本身保留在 Android 显示器上。

• 单击以聚焦于游戏窗口。
• 在您的 VR 手机上启动 Moonlight 并启动桌面 (有关如何流式传输桌面的教程，请使用谷歌)

您可以开始玩了。 当您的 PC 显示器显示 VR-Window 时，它会 显示内容并接受 Android-Orientations。 当扩展(主)监视器显示游戏窗口时， 游戏将接受 Controller /键盘/鼠标输入。

是的，这是一项非常糟糕的工作，很可能会给您带来压力 (W)兰。 如果您有一台备用显示器，您也可以使用第二台物理显示器来执行此操作，这将减少路由器上的流量。

用 WarThunder 和 Project CARS Pagani Edition 试过这个，它有效!