java - 如何在 Android 上使用 pocketsphinx 添加音素识别

Question

我正在开发一个关于 Cued Speech 的项目(这是一种用于聋哑人或听力障碍人士的视觉交流系统)。它是一个基于音素的系统，通过在嘴部附近的不同位置(代表元音)使用少量的手形(称为提示)(代表辅音)，可以理解传统口语，作为语音阅读的补充。

我已经遵循了关于音素识别(pocketsphinx_continuous)的教程，Android 上的 pocketsphinx 并且它正在工作。 我现在正在开发 Android 项目，但该项目的最终目标是使其能够在 Google Glass 上运行。 最好的情况是在设备上写下语音(更接近实时)和 3D 化身，这将根据识别的音素重现正确的手部配置和嘴唇运动。 (这就是为什么我需要使用音素而不是单词本身)

我读到http://cmusphinx.sourceforge.net/wiki/phonemerecognition但我对如何为法语音素创建自己的"file"以使其在 Android 上运行感到非常困惑。

步骤是什么？我应该创建什么样的文件？

换句话说，在带有语音输入的 Android 上是否可以得到与音素相同的 pocketsphinx_continuous 的结果？

希望您能指导我!

纪尧姆

Answer 1

最新的 pocketsphinx 演示包括通过“电话”搜索激活的语音识别模式，有关详细信息，请参阅来源:

https://github.com/cmusphinx/pocketsphinx-android-demo

要将其与法语一起使用，您需要使用法语声学模型更新它:

http://sourceforge.net/projects/cmusphinx/files/Acoustic%20and%20Language%20Models/French%20F0%20Broadcast%20News%20Acoustic%20Model/lium_french_f0.tar.gz/download

并使用法语语音模型:

http://sourceforge.net/projects/cmusphinx/files/Acoustic%20and%20Language%20Models/French%20Language%20Model/fr-phone.lm.dmp/download

像这样:

    recognizer = defaultSetup()
            .setAcousticModel(new File(modelsDir, "hmm/french");
            .setBoolean("-allphone_ci", true)
            .getRecognizer();
    // Phonetic search
    File phoneticModel = new File(modelsDir, "phone/fr-phone.lm.dmp");
    recognizer.addAllphoneSearch(PHONE_SEARCH, phoneticModel);

我怀疑它在 Glass 上是否能正常工作，它似乎不是一个非常强大的设备。