node.js - 如何将 .aac url 流式传输到 wit.ai 语音 api

Question

我正在尝试获取 Facebook Messenger 音频剪辑 URL 并将该 URL 处的音频剪辑转发到 wit.ai 语音 API。

传入消息提供了一个有效负载 URL，下载后会包含一个 .aac 文件。来自此处的 API 文档 HTTP API - speech endpoint看起来不支持 .aac 文件类型。

我尝试过修改标题来发送 mpeg3 内容类型(希望它可以实现)，但是我的所有响应都没有文本，并且机智控制台在传入消息的日志中显示“无文本”。 为了清楚起见，我已尝试使用以下文档页面上描述的所有音频组合。

发送的格式为:

curl -XPOST 'https://api.wit.ai/speech?' \
 -i -L \
 -H "Authorization: Bearer <TOKEN>" \
 -H "Content-Type: audio/mpeg3" \
 -H "Transfer-encoding: chunked" \
 --data-binary "https://cdn.fbsbx.com/v/<rest of url>"

显然，响应表明请求正常，但文本中没有返回任何内容，因此文件类型是我的问题。

HTTP/1.1 200 OK
Server: nginx/1.8.0
Date: Wed, 04 Jan 2017 12:51:13 GMT
Content-Type: application/json
Content-Length: 91
Connection: keep-alive

{
   "msg_id" : "12265ac7-3050-4cd2-94c1-7bf0d27eeab4",
   "_text" : "",
   "entities" : { }
}

检查收件箱“语音”下的控制台，我什么也没看到，所以它显然没有拾取音频，因为我的标题和/或文件类型是错误的。

我认为不可能传输消息应用程序创建的文件(如果这很重要的话，在 ios 上)，那么是否可以在运行时使用后端的 node/python 将 .aac 转换为 .wav？

感谢任何帮助。

Answer 1

目前，我的问题的技术答案似乎是“无法完成”，因为 Wit 不支持该格式。然而，作为一种解决方法，我创建了一个 python 脚本，它可以获取 URL 并创建一个本地转换的 .wav 文件，然后将其流式传输到语音 api。

from pydub import AudioSegment
import os
import sys
import urllib2
import uuid
import json

# Globals
PATH = os.path.dirname(os.path.realpath(sys.argv[0])) + "/speech/"


def convertFiletoWAV(infile):
    OUT_FILE = 'speech_'+ str(uuid.uuid1())+ '.wav'
    OUT_NAME = PATH + OUT_FILE
    INPUT = PATH + infile
    AudioSegment.from_file(INPUT,"aac").export(OUT_NAME, format="wav")
    return {
        'in_full':INPUT,
        'in_file':infile,
        'out_full':OUT_NAME,
        'out_file':OUT_FILE
    }

def main(file):
    print json.dumps(convertFiletoWAV(str(file)))
    sys.stdout.flush()

if __name__ == "__main__":
    main(sys.argv[1:][0])

然后从 js 音频处理程序调用它:

let convertAndParseSpeech = (url) => {
  let file_p = config.root + '/python/speech/'
  let file = "fb_" + uuidV1() + "_down.aac"
  return new Promise(function(resolve, reject) {
    let stream = request
      .get(<url passed from Facebook payload>)
      .pipe(fs.createWriteStream(file_p + file))

    stream.on('finish',()=>{
      console.log(file);
      PythonShell.defaultOptions = {
        scriptPath: config.root + '/python/'
      };
      var options = {
        mode: 'text',
        args: [file],
      }
      PythonShell.run('convertAudio.py',options,(err, results) => {
        if (err || results.ERR) {
          reject(err)
        }else {
          console.log("RESULTS :",JSON.parse(results))
          fs.createReadStream(file_p + JSON.parse(results).out_file)
          .pipe(
            request.post({
              url : 'https://api.wit.ai/speech?v=20160526',
              json : true,
              headers: {
                "Content-Type": "audio/wav",
                "Authorization": "Bearer " + config.WIT_TOKEN
              }
            },(err,res,body)=>{
              if (!err || res.statusCode == 200) {
                resolve("OK", res.body);
              }else {
                reject("NOK", err);
              }
            })
          );
        }
      })
    })
  });

当分割成单独的部分或从命令运行时，这会起作用，但是当运行测试时，我从 python 脚本返回一个错误，说 pydub 不可用。

ImportError: No module named pydub

我将跟进 PythonShell 人员，看看我做错了什么，并用结果编辑答案，但这个解决方案为我提供了我现在想要的基本功能