Talk 模式

• Native macOS/iOS/Android Talk：原生语音识别、Gateway 聊天以及 talk.speak TTS。macOS/iOS 上的 Apple Speech recognition 可能会使用网络服务；Android 的行为取决于已安装的语音服务。节点会公布 talk 能力，并声明它们支持哪些 talk.* 命令。
• iOS Talk（realtime）：对于选择 webrtc 传输方式或省略传输方式的 OpenAI realtime 配置，使用由客户端拥有的 WebRTC，包括带帧和无帧的转录／音频事件。显式指定 gateway-relay、provider-websocket 的 realtime 配置以及非 OpenAI realtime 配置会继续使用由 Gateway 拥有的中继；非 realtime 配置使用原生语音循环。
• Browser Talk：对于由客户端拥有的 webrtc／provider-websocket 会话，使用 talk.client.create；对于由 Gateway 拥有的 gateway-relay 会话，使用 talk.session.create。managed-room 保留用于 Gateway 移交和对讲机房间。
• Android Talk（realtime）：当 talk.catalog 报告 realtime 组已就绪且配置的模型通过 Android 客户端门槛时，Android 会使用由 Gateway 拥有的中继 realtime；它绝不会打开由客户端拥有的 WebRTC 会话。Gateway 现在支持 gpt-live-* 中继会话，但 Android 会有意让这些模型继续使用原生语音识别、Gateway 聊天和 talk.speak，直到从 Android 设备验证中继路径可以正常运行。
• 仅转录客户端：talk.session.create({ mode: "transcription", transport: "gateway-relay", brain: "none" })，然后使用 talk.session.appendAudio 和 talk.session.close，即可在没有助手语音响应的情况下进行字幕／听写。一次性上传的语音备忘录仍使用媒体理解音频路径。

​

从聊天中选择 Talk 语音

​

行为（macOS）

• 在 Talk 模式启用时始终显示覆盖层。
• 倾听 → 思考 → 说话 阶段转换。
• 在短暂停顿（静默窗口）时，当前转录内容会被发送。
• 回复会写入 WebChat（与输入相同）。
• 语音打断（默认开启）：如果用户在助手说话时开口，播放会停止，并记录打断时间戳供下一个提示使用。

​

回复中的语音命令

{ "voice": "<voice-id>", "once": true }

• 仅适用于第一个非空行；在 TTS 播放前，这一行 JSON 会被移除。
• 未知键将被忽略。
• once: true 仅适用于当前回复；如果未指定，它将成为 Talk 模式的新默认值。

​

配置（~/.openclaw/openclaw.json）

{
  talk: {
    provider: "elevenlabs",
    providers: {
      elevenlabs: {
        voiceId: "elevenlabs_voice_id",
        modelId: "eleven_v3",
        outputFormat: "mp3_44100_128",
        apiKey: "elevenlabs_api_key",
      },
      mlx: {
        modelId: "mlx-community/Soprano-80M-bf16",
        // Fish S2 Pro 也可以使用本地参考声音：
        // referenceAudioPath: "/Users/example/Voices/reference.wav",
        // referenceText: "参考音频片段的准确转录文本。",
      },
      system: {},
    },
    speechLocale: "ru-RU",
    silenceTimeoutMs: 1500,
    interruptOnSpeech: true,
    realtime: {
      provider: "openai",
      providers: {
        openai: {
          apiKey: "openai_api_key",
          model: "gpt-realtime-2.1",
          speakerVoice: "cedar",
        },
      },
      instructions: "请充满热情地说话，并保持回答简短。",
      mode: "realtime",
      transport: "webrtc",
      brain: "agent-consult",
    },
  },
}

​

macOS 界面

• 菜单栏切换：Talk
• 配置标签页：Talk Mode 组（voice id ＋ interrupt toggle）
• 覆盖层：该球体渲染通用的 talk 波形（与 iOS、watchOS 和 Android 共用）。Listening 跟随实时麦克风音量，Speaking 跟随实际的 TTS 播放包络，Thinking 轻柔呼吸。点击球体可暂停／恢复，双击可停止说话，点击 X 可退出 Talk 模式。

​

Android 界面

• Android 的主导航是 Home、Chat 和 Settings。语音输入 位于 Chat 编辑器中，而不是单独的 Voice 选项卡。
• 点击编辑器麦克风可进行设备端听写。长按它可录制 语音笔记附件。从 Talk 波形开始连续 Talk。
• 听写、语音笔记录制和 Talk 是互斥的麦克风 路径；启动其中一个会停止或阻止其他路径。
• 实时 Talk 优先使用已连接的 Bluetooth Classic 或 BLE 耳机 麦克风；如果断开连接，应用会请求另一个耳机输入，或 回退到默认麦克风，并在捕获停止后恢复默认偏好。
• 当应用离开前台或 用户离开 Chat 时，听写和语音笔记录制会停止。
• Talk Mode 会一直运行，直到被切换关闭或节点断开连接，激活时使用 Android 的 microphone 前台服务类型。
• Android 支持 pcm_16000、pcm_22050、pcm_24000 和 pcm_44100 输出格式，用于低延迟的 AudioTrack 流式传输。

​

备注

• 需要语音和麦克风权限。
• 原生 Talk 使用当前活动的 Gateway 会话，仅当响应事件不可用时才回退到历史记录轮询。
• Gateway 通过 talk.speak 使用当前活动的 Talk 提供商处理 Talk 播放。仅当该 RPC 不可用时，Android 才会回退到本地系统 TTS。
• macOS 本地 MLX 播放会在可用时使用捆绑的 openclaw-mlx-tts 助手，或使用 PATH 上的可执行文件。在开发期间，可设置 OPENCLAW_MLX_TTS_BIN 指向自定义助手二进制文件。该助手以流式方式传输 PCM，使一个选定的模型常驻内存，并通过 providers.mlx.referenceAudioPath 和 referenceText 支持 Fish S2 Pro 参考音频。
• 语音指令值范围（ElevenLabs）：stability、similarity 和 style 接受 0..1；speed 接受 0.5..2；latency_tier 接受 0..4。

​

相关内容

• 语音唤醒
• 音频和语音笔记
• 媒体理解