javascript - 根据 mp3/wav 自动嘴唇同步

Question

我想在我的网络应用程序中创建动画头像。似乎 CSS3 过渡、动画和背景功能在 javascript 的帮助下 web API我所需要的。使用xface对我来说看起来有点矫枉过正，cartoon solutions几乎是我所需要的。我需要将其制作成卡通片。

我做了 some progress已经(能够创建语音控制的网络应用程序)，但这次我需要 mp3/wav 输入，而不是通过 x-webkit-speech 使用谷歌服务器从麦克风直接发出声音。

我正在考虑这种方法:

1. 将语音录制成mp3或wav并写入其字符串内容
2. 在浏览器中播放 mp3 并使用 AnalyserNode 检测词尾同步字符串中的位置(我使用捷克语，与英语不同，它的语速几乎恒定)。
3. 根据实际说话的字母显示卡通头像(见上面的链接)

问题: 是否有任何更省力(编码器和设计器的开发时间更短)的方法？尤其是第 2 步和 future 的英语语言让我很担心。也许一些卡拉 OK 工具可以生成一些语音同步文件(我可以将其解析为 CSS3 关键帧)？我不知道有任何此类工具。

Answer 1

对于更复杂的事情，你可以尝试:

第 1 步。从文本到语音的 Web 语音 API...

http://updates.html5rocks.com/2013/01/Voice-Driven-Web-Apps-Introduction-to-the-Web-Speech-API

第 2 步尝试将“papagayo”移植到 js(我相信使用字典将单词与音素与嘴巴姿势相关联)

http://anime.smithmicro.com/papagayo.html

GNU 源代码可在此处获得: http://anime.smithmicro.com/update_files/papagayo/papagayo_1.2_source.zip

您还可以引用: http://www.adobe.com/devnet/flash/articles/lip-sync-smartmouth.html 概述您要实现的目标