实时语音翻译

接口描述

实时语音翻译api采用websocket协议的连接方式，能够将音频流实时识别为文字，支持智能断句，实时输出带有标点的语音识别结果和翻译结果，支持45个语种的识别和相互翻译。

接口限制

• 目前支持45个语言的互译，见语言列表

• 音频参数要求：目前只支持pcm格式的原始音频数据

  • 采样率：8kHz、16kHz、44.1kHz
  • 位深：16bits
  • 单声道
  • 小端序

接入方式

• 接口协议：WebSocket
• 请求URL：wss://aip.baidubce.com/ws/realtime_speech_trans

主要流程

实时语音翻译API基于WebSocket协议进行全双工的流式消息发送和接受。实现逻辑如下：

1. 建立WebSocket连接，并发送开始报文
2. 发送实时音频流报文
3. 接收实时翻译结果报文、TTS播报报文
4. 发送结束报文并关闭WebSocket连接

报文格式

实时语音翻译二进制响应报文序列化协议

该协议仅在头部加了1个字节，作用是区分业务二进制响应报文的类型。第一个字节之后是payload数据。格式如下：

0字节      1字节
+---------+----------------+
|  type   |    payload     +
+---------+----------------+

请求说明

建立连接并发送开始报文

向服务地址建立WebSocket连接，连接开始后，需要首先发送开始报文。

请求报文格式

• WebSocket opcode：text
• WebSocket消息体序列化协议：json

• 开始报文示例：

{
    "type": "START",
    "from": "zh",
    "to": "en",
    "app_id": "xxx",
    "app_key": "yyy",
    "sampling_rate": 16000
}

响应报文格式

• WebSocket opcode：text
• WebSocket消息体序列化协议：json

若服务端接受，服务端会返回确认开始报文：

• 确认开始报文

{
    "code": 0,
    "msg": "Success",
    "data": {
        "status": "STA"
    }
}

若服务端拒绝，会返回错误报文，并立刻断开和客户端的连接：

• 错误报文

{
    "code": 10001，
    "msg": "invalid request param"
}

发送实时音频流报文

报文格式

• WebSocket opcode：binary
• WebSocket消息体：音频流的二进制数据

注意：

• 服务端不处理在开始报文响应之前收到的音频流。
• 建议每40ms发送一次音频包，即在采样率为16000Hz+位深16bits时，音频包的大小为 40ms 16000Hz 16bits = 1280 bytes。如果发送频率太高，则可能识别失败；如果发送频率太低，则会降低业务系统的实时性。
• 若服务端超过30秒没有收到任何报文，服务端会报错并主动断开连接

接受实时翻译结果报文

报文格式：

• WebSocket opcode：text
• WebSocket消息体序列化协议：json

正常情况

• 一句话的翻译中间结果

{
    "code": 0,
    "msg": "Success",
    "data": {
        "status": "TRN",
        "result": {
            "type": "MID",
            "asr": "今天",
            "asr_trans": "Today",
            "sentence": "",
            "sentence_trans": ""
        }
    }
}

• 一句话的翻译最终结果

{
    "code": 0,
    "msg": "Success",
    "data": {
        "status": "TRN",
        "result": {
            "type": "FIN",
            "asr": "明天",
            "asr_trans": "",
            "sentence": "今天天气不错，",
            "sentence_trans": "It's a nice day today,"
        }
    }
}

异常情况

有些错误并不会断开连接，并且不会不影响业务继续使用，请参考错误码说明。

• 错误报文

{
    "code": 10001，
    "msg": "invalid request param"
}

接受TTS播报报文

如果开始报文中设置了return_target_tts==1时，则会返回TTS播报报文；否则不返回该报文。 报文格式：

• WebSocket opcode：binary
• WebSocket消息体序列化协议：实时语音翻译二进制响应报文，type=0x01，payload是TTS音频二进制，以mp3格式编码。

即：

• WebSocket消息体

0字节      1字节
+---------+---------------------+
|  0x01   | mp3格式的TTS二进制数据 +
+---------+---------------------+

发送结束报文并关闭连接

请求报文格式

• WebSocket opcode：text
• WebSocket消息体序列化协议：json

{
    "type": "FINISH"
}

响应报文格式

• WebSocket opcode：text
• WebSocket消息体序列化协议：json

若服务端接受，服务端会返回确认结束报文：

• 确认报文结束

{
    "code": 0,
    "msg": "Success",
    "data": {
        "status": "END"
    }
}

若服务端拒绝，会返回错误报文。

• 错误报文

{
    "code": 10001，
    "msg": "invalid request param"
}

错误码说明

语言列表

TTS语音合成语言列表

各语言DEMO

实时语音翻译demo go语言

实时语音翻译demo java-ws语言

实时语音翻译demo java-wss语言

实时语音翻译demo js语言

实时语音翻译demo nodejs语言

实时语音翻译demo python2语言

实时语音翻译demo python3语言