🎙️ 豆包端到端实时语音接口

豆包端到端实时语音大模型（Speech-to-Speech）接口文档。语音直接进、语音直接出，端到端完成「听 → 理解 → 说」，支持流式转写、流式语音回复与实时打断，兼容 OpenAI Realtime 协议，可用标准 OpenAI Realtime SDK 接入。

接口地址

wss://www.moyu.info/v1/realtime?model=doubao-realtime-v1.2.6.1

基于 WebSocket 长连接，通过 URL query 参数 model 指定模型。

鉴权

在 WebSocket 握手请求头中携带令牌：

Authorization: Bearer YOUR_API_KEY

请将 YOUR_API_KEY 替换为你在控制台申请的令牌，妥善保管、不要泄露或提交到代码仓库。

音频格式

方向	格式	采样率	位深	声道	编码
输入	PCM	16000 Hz	16bit	单声道	Base64
输出	PCM	24000 Hz	16bit	单声道	Base64

音频以 Base64 字符串在 JSON 事件中传输，建议按 20ms（640 字节）分片发送。

交互流程

一轮完整对话的时序：

建立 WebSocket 连接（带鉴权头）

客户端发送 session.update 初始化会话（模型、音色、音频格式、指令）

客户端持续发送 input_audio_buffer.append（Base64 音频分片）

发送 input_audio_buffer.commit 提交，并保持音频流（静音也可），直至本轮结束

服务端流式返回转写文本（response.audio_transcript.delta）与语音（response.audio.delta）

服务端返回 response.done，表示本轮交互结束

重要：commit 之后需继续发送音频/静音帧，模型据此判定「用户已说完」，才会生成回复并下发 response.done。若提交后立即停止发送，模型会认为用户仍在说话，不会结束本轮。

客户端事件（上行）

session.update — 初始化 / 更新会话

{
  "type": "session.update",
  "session": {
    "model": "doubao-realtime-v1.2.6.1",
    "instructions": "你是一个友好的助手，请用中文简短回答。",
    "audio": {
      "input":  { "format": { "type": "pcm", "rate": 16000 } },
      "output": { "format": { "type": "pcm", "rate": 24000 }, "voice": "zh_female_xiaohe_jupiter_bigtts" }
    }
  }
}

input_audio_buffer.append — 发送音频分片

{ "type": "input_audio_buffer.append", "audio": "<base64-pcm>" }

input_audio_buffer.commit — 提交音频

{ "type": "input_audio_buffer.commit" }

response.cancel — 打断当前回复

{ "type": "response.cancel" }

服务端事件（下行）

均为 JSON 文本帧，流式下发：

事件	说明
`session.created` / `session.updated`	会话建立 / 更新成功
`input_audio_buffer.speech_started`	检测到用户开始说话
`response.audio_transcript.delta`	转写 / 回复文本流（增量）
`response.audio_transcript.done`	文本流结束
`response.audio.delta`	语音回复流（Base64 PCM 分片，多条）
`response.audio.done`	语音输出结束
`response.done`	一轮交互结束

response.done 示例

收到该事件表示本轮交互已结束，可据此判断回复完成、准备下一轮：

{
  "type": "response.done",
  "response": { }
}

代码示例

Python

Go

JavaScript (Node.js)

注意事项

保持音频流：commit 后需持续发送音频/静音帧，否则模型不会判定本轮结束、不下发 response.done。

纯静音无法触发回复：语音检测（VAD）需检测到真实语音，纯静音不会产生回复。

音频格式严格匹配：输入必须为 16kHz/单声道/16bit PCM，否则识别异常。

令牌安全：Authorization 中的令牌请通过环境变量或密钥管理注入，不要硬编码或泄露。

🎙️ 豆包端到端实时语音接口

接口地址#

鉴权#

音频格式#

交互流程#

客户端事件（上行）#

session.update — 初始化 / 更新会话#

input_audio_buffer.append — 发送音频分片#

input_audio_buffer.commit — 提交音频#

response.cancel — 打断当前回复#

服务端事件（下行）#

response.done 示例#

代码示例#

Python#

Go#

JavaScript (Node.js)#

注意事项#