QA 概览

• extensions/qa-channel：带有 DM、频道、线程、 反应、编辑和删除表面的合成消息通道。
• extensions/qa-lab：用于观察转录、注入传入消息以及导出 Markdown 报告的调试器 UI 和 QA 总线。
• extensions/qa-matrix、未来的 runner 插件：驱动子 QA gateway 中真实频道的实时传输适配器。
• qa/：用于启动任务和基线 QA 场景的仓库后备种子资源。
• Mantis：针对需要真实传输、浏览器截图、VM 状态和 PR 证据的 bug，在 live verification 之前和之后进行验证。

​

命令入口

​

操作流程

• 左侧：Gateway 仪表盘（Control UI）与 agent。
• 右侧：QA Lab，显示类似 Slack 的转录和场景计划。

pnpm qa:lab:up

pnpm openclaw qa docker-build-image
pnpm qa:lab:build
pnpm qa:lab:up:fast
pnpm qa:lab:watch

pnpm qa:otel:smoke

pnpm qa:otel:collector-smoke

pnpm qa:prometheus:smoke

pnpm qa:observability:smoke

pnpm qa:observability:collector-smoke

pnpm openclaw qa matrix --profile fast --fail-fast

pnpm openclaw qa telegram
pnpm openclaw qa discord
pnpm openclaw qa slack
pnpm openclaw qa whatsapp

pnpm openclaw qa mantis slack-desktop-smoke \
  --gateway-setup \
  --scenario slack-canary \
  --keep-lease

pnpm openclaw qa mantis slack-desktop-smoke \
  --approval-checkpoints \
  --credential-source convex \
  --credential-role maintainer

pnpm openclaw qa mantis visual-task \
  --browser-url https://example.net \
  --expect-text "Example Domain" \
  --vision-model openai/gpt-5.5

pnpm openclaw qa credentials doctor

​

实时传输覆盖

pnpm openclaw qa suite --runner multipass --scenario channel-chat-baseline

​

Telegram、Discord、Slack 和 WhatsApp QA 参考

​

共享 CLI 标志

​

Telegram QA

pnpm openclaw qa telegram

• OPENCLAW_QA_TELEGRAM_GROUP_ID - 数字聊天 id（字符串）。
• OPENCLAW_QA_TELEGRAM_DRIVER_BOT_TOKEN
• OPENCLAW_QA_TELEGRAM_SUT_BOT_TOKEN

• OPENCLAW_QA_TELEGRAM_CAPTURE_CONTENT=1 会在观测消息产物中保留消息正文（默认会脱敏）。

• telegram-canary
• telegram-mention-gating
• telegram-mentioned-message-reply
• telegram-help-command
• telegram-commands-command
• telegram-tools-compact-command
• telegram-whoami-command
• telegram-status-command
• telegram-repeated-command-authorization
• telegram-other-bot-command-gating
• telegram-context-command
• telegram-current-session-status-tool
• telegram-reply-chain-exact-marker
• telegram-stream-final-single-message
• telegram-long-final-reuses-preview
• telegram-long-final-three-chunks

• telegram-qa-report.md
• telegram-qa-summary.json - 包含每次回复的 RTT（driver 发送 → 观测到的 SUT 回复），从 canary 开始。
• telegram-qa-observed-messages.json - 除非设置 OPENCLAW_QA_TELEGRAM_CAPTURE_CONTENT=1，否则正文会被脱敏。

pnpm rtt openclaw@beta \
  --credential-source convex \
  --credential-role maintainer \
  --samples 20 \
  --sample-timeout-ms 30000

​

Discord QA

pnpm openclaw qa discord

• OPENCLAW_QA_DISCORD_GUILD_ID
• OPENCLAW_QA_DISCORD_CHANNEL_ID
• OPENCLAW_QA_DISCORD_DRIVER_BOT_TOKEN
• OPENCLAW_QA_DISCORD_SUT_BOT_TOKEN
• OPENCLAW_QA_DISCORD_SUT_APPLICATION_ID - 必须与 Discord 返回的 SUT bot user id 匹配（否则该通道会快速失败）。

• OPENCLAW_QA_DISCORD_CAPTURE_CONTENT=1 会将消息正文保留在观测消息产物中。
• OPENCLAW_QA_DISCORD_VOICE_CHANNEL_ID 为 discord-voice-autojoin 选择语音/stage 频道；若未提供，则场景会为 SUT bot 选择第一个可见的语音/stage 频道。

• discord-canary
• discord-mention-gating
• discord-native-help-command-registration
• discord-voice-autojoin - 可选语音场景。它会单独运行，启用 channels.discord.voice.autoJoin，并验证 SUT bot 当前的 Discord 语音状态是否为目标语音/stage 频道。Convex Discord 凭证可以包含可选的 voiceChannelId；否则运行器会在 guild 中发现第一个可见的语音/stage 频道。
• discord-status-reactions-tool-only - 可选 Mantis 场景。它会单独运行，因为它会将 SUT 切换为始终在线、仅工具的 guild 回复，并启用 messages.statusReactions.enabled=true，然后捕获 REST reaction 时间线以及 HTML/PNG 视觉产物。Mantis 前后报告还会将场景提供的 MP4 产物分别保留为 baseline.mp4 和 candidate.mp4。

pnpm openclaw qa discord \
  --scenario discord-voice-autojoin \
  --provider-mode mock-openai

pnpm openclaw qa discord \
  --scenario discord-status-reactions-tool-only \
  --provider-mode live-frontier \
  --model openai/gpt-5.5 \
  --alt-model openai/gpt-5.5 \
  --fast

• discord-qa-report.md
• discord-qa-summary.json
• discord-qa-observed-messages.json - 除非设置 OPENCLAW_QA_DISCORD_CAPTURE_CONTENT=1，否则正文会被脱敏。
• discord-qa-reaction-timelines.json 和 discord-status-reactions-tool-only-timeline.png，当状态反应场景运行时生成。

​

Slack QA

pnpm openclaw qa slack

• OPENCLAW_QA_SLACK_CHANNEL_ID
• OPENCLAW_QA_SLACK_DRIVER_BOT_TOKEN
• OPENCLAW_QA_SLACK_SUT_BOT_TOKEN
• OPENCLAW_QA_SLACK_SUT_APP_TOKEN

• OPENCLAW_QA_SLACK_CAPTURE_CONTENT=1 会将消息正文保留在观测消息产物中。
• OPENCLAW_QA_SLACK_APPROVAL_CHECKPOINT_DIR 会为 Mantis 启用视觉审批检查点。运行器会写入 <scenario>.pending.json 和 <scenario>.resolved.json，然后等待匹配的 .ack.json 文件。
• OPENCLAW_QA_SLACK_APPROVAL_CHECKPOINT_TIMEOUT_MS 会覆盖检查点确认超时。默认值是 120000。

• slack-canary
• slack-mention-gating
• slack-allowlist-block
• slack-top-level-reply-shape
• slack-restart-resume
• slack-thread-follow-up
• slack-thread-isolation
• slack-approval-exec-native - 可选启用的原生 Slack exec 审批场景。它会通过 gateway 请求一次 exec 审批，验证 Slack 消息具有原生审批按钮，完成审批，并验证已解析的 Slack 更新。
• slack-approval-plugin-native - 可选启用的原生 Slack plugin 审批场景。它会同时启用 exec 和 plugin 审批转发，使 plugin 事件不会被 exec 审批路由抑制，然后验证相同的待处理/已解析原生 Slack UI 路径。

• slack-qa-report.md
• slack-qa-summary.json
• slack-qa-observed-messages.json - 除非设置 OPENCLAW_QA_SLACK_CAPTURE_CONTENT=1，否则正文会被脱敏。
• approval-checkpoints/ - 仅在 Mantis 设置了 OPENCLAW_QA_SLACK_APPROVAL_CHECKPOINT_DIR 时存在；包含 checkpoint JSON、 acknowledgement JSON，以及 pending/resolved 截图。

​

设置 Slack 工作区

• channelId - 两个机器人都已被邀请加入的频道的 Cxxxxxxxxxx id。请使用专用频道；该通道每次运行都会发消息。
• driverBotToken - Driver 应用的 bot token（xoxb-...）。
• sutBotToken - SUT 应用的 bot token（xoxb-...），它必须是与 driver 不同的独立 Slack 应用，这样它的 bot user id 才是不同的。
• sutAppToken - SUT 应用的 app-level token（xapp-...），带有 connections:write，供 Socket Mode 使用，以便 SUT 应用可以接收事件。

{
  "display_information": {
    "name": "OpenClaw QA Driver",
    "description": "OpenClaw QA Slack live lane 的测试 driver bot"
  },
  "features": {
    "bot_user": {
      "display_name": "OpenClaw QA Driver",
      "always_online": true
    }
  },
  "oauth_config": {
    "scopes": {
      "bot": ["chat:write", "channels:history", "groups:history", "users:read"]
    }
  },
  "settings": {
    "socket_mode_enabled": false
  }
}

{
  "display_information": {
    "name": "OpenClaw QA SUT",
    "description": "OpenClaw QA SUT connector for OpenClaw"
  },
  "features": {
    "bot_user": {
      "display_name": "OpenClaw QA SUT",
      "always_online": true
    },
    "app_home": {
      "home_tab_enabled": true,
      "messages_tab_enabled": true,
      "messages_tab_read_only_enabled": false
    }
  },
  "oauth_config": {
    "scopes": {
      "bot": [
        "app_mentions:read",
        "assistant:write",
        "channels:history",
        "channels:read",
        "chat:write",
        "commands",
        "emoji:read",
        "files:read",
        "files:write",
        "groups:history",
        "groups:read",
        "im:history",
        "im:read",
        "im:write",
        "mpim:history",
        "mpim:read",
        "mpim:write",
        "pins:read",
        "pins:write",
        "usergroups:read",
        "users:read"
      ]
    }
  },
  "settings": {
    "socket_mode_enabled": true,
    "event_subscriptions": {
      "bot_events": [
        "app_home_opened",
        "app_mention",
        "channel_rename",
        "member_joined_channel",
        "member_left_channel",
        "message.channels",
        "message.groups",
        "message.im",
        "message.mpim",
        "pin_added",
        "pin_removed"
      ]
    }
  }
}

• Install to Workspace → 复制 Bot User OAuth Token → 它会成为 sutBotToken。
• Basic Information → App-Level Tokens → Generate Token and Scopes → 添加作用域 connections:write → 保存 → 复制 xapp-... 值 → 它会成为 sutAppToken。

/invite @OpenClaw QA Driver
/invite @OpenClaw QA SUT

{
  "channelId": "Cxxxxxxxxxx",
  "driverBotToken": "xoxb-...",
  "sutBotToken": "xoxb-...",
  "sutAppToken": "xapp-..."
}

pnpm openclaw qa credentials add \
  --kind slack \
  --payload-file slack-creds.json \
  --note "QA Slack pool seed"

pnpm openclaw qa credentials list --kind slack --status all --json

pnpm openclaw qa slack \
  --credential-source convex \
  --credential-role maintainer \
  --output-dir .artifacts/qa-e2e/slack-local

​

WhatsApp QA

pnpm openclaw qa whatsapp

• OPENCLAW_QA_WHATSAPP_DRIVER_PHONE_E164
• OPENCLAW_QA_WHATSAPP_SUT_PHONE_E164
• OPENCLAW_QA_WHATSAPP_DRIVER_AUTH_ARCHIVE_BASE64
• OPENCLAW_QA_WHATSAPP_SUT_AUTH_ARCHIVE_BASE64

• OPENCLAW_QA_WHATSAPP_GROUP_JID 可启用群组场景，例如 whatsapp-mention-gating 和 whatsapp-group-allowlist-block。
• OPENCLAW_QA_WHATSAPP_CAPTURE_CONTENT=1 会在观测消息产物中保留消息正文。

• 基线和群组门控：whatsapp-canary、whatsapp-pairing-block、whatsapp-mention-gating、whatsapp-top-level-reply-shape、whatsapp-restart-resume、whatsapp-group-allowlist-block。
• 原生命令：whatsapp-help-command、whatsapp-status-command、whatsapp-commands-command、whatsapp-tools-compact-command、whatsapp-whoami-command、whatsapp-context-command、whatsapp-native-new-command。
• 回复与最终输出行为：whatsapp-tool-only-usage-footer、whatsapp-reply-to-message、whatsapp-reply-context-isolation、whatsapp-reply-delivery-shape、whatsapp-stream-final-message-accounting。
• 入站媒体和结构化消息：whatsapp-inbound-image-caption、whatsapp-audio-preflight、whatsapp-inbound-structured-messages、whatsapp-group-audio-gating。这些场景会通过 driver 发送真实的 WhatsApp 图片、音频、文档、位置、联系人和贴纸事件。
• 出站 Gateway 和消息动作覆盖： whatsapp-outbound-media-matrix、 whatsapp-outbound-document-preserves-filename、whatsapp-outbound-poll、 whatsapp-message-actions。
• 访问控制覆盖：whatsapp-access-control-dm-open、 whatsapp-access-control-dm-disabled、whatsapp-access-control-group-open、 whatsapp-access-control-group-disabled、whatsapp-group-allowlist-block。
• 原生审批：whatsapp-approval-exec-deny-native、 whatsapp-approval-exec-native、whatsapp-approval-exec-reaction-native、 whatsapp-approval-plugin-native。
• 状态反应：whatsapp-status-reactions。

• whatsapp-qa-report.md
• whatsapp-qa-summary.json
• whatsapp-qa-observed-messages.json - 除非设置 OPENCLAW_QA_WHATSAPP_CAPTURE_CONTENT=1，否则正文会被脱敏。

​

Convex 凭证池

• Telegram (kind: "telegram"): { groupId: string, driverToken: string, sutToken: string } - groupId 必须是数字聊天 id 字符串。
• Telegram real user (kind: "telegram-user"): { groupId: string, sutToken: string, testerUserId: string, testerUsername: string, telegramApiId: string, telegramApiHash: string, tdlibDatabaseEncryptionKey: string, tdlibArchiveBase64: string, tdlibArchiveSha256: string, desktopTdataArchiveBase64: string, desktopTdataArchiveSha256: string } - 仅用于 Mantis Telegram Desktop proof。通用 QA Lab 运行线不得申请此种类。
• Discord (kind: "discord"): { guildId: string, channelId: string, driverBotToken: string, sutBotToken: string, sutApplicationId: string }。
• WhatsApp (kind: "whatsapp"): { driverPhoneE164: string, sutPhoneE164: string, driverAuthArchiveBase64: string, sutAuthArchiveBase64: string, groupJid?: string } - 电话号码必须是不同的 E.164 字符串。

​

仓库内种子

• qa/scenarios/index.md
• qa/scenarios/<theme>/*.md

• 场景元数据
• 可选的类别、能力、通道和风险元数据
• 文档和代码引用
• 可选的插件要求
• 可选的 gateway 配置补丁
• 可执行的 qa-flow

• DM 和频道聊天
• 线程行为
• 消息动作生命周期
• cron 回调
• 记忆回忆
• 模型切换
• 子代理交接
• 仓库读取和文档读取
• 一个小型构建任务，例如 Lobster Invaders

​

提供方 mock 通道

• mock-openai 是具备场景感知的 OpenClaw mock。它仍然是仓库内 QA 和一致性门禁的默认确定性 mock 通道。
• aimock 启动一个基于 AIMock 的 provider server，用于实验性的协议、fixture、record/replay 和 chaos 覆盖。它是附加性的，不会替换 mock-openai 的场景分发器。

​

传输适配器

• qa-lab 负责通用的场景执行、worker 并发、产物写入和报告。
• 传输适配器负责 gateway 配置、就绪检查、入站和出站观测、传输动作，以及标准化的传输状态。
• qa/scenarios/ 下的 Markdown 场景文件定义测试运行；qa-lab 提供执行它们的可复用运行时表面。

​

添加一个频道

1. 该频道的传输适配器。
2. 一组覆盖该频道契约的场景包。

• openclaw qa 命令根
• suite 启动与关闭
• worker 并发
• 产物写入
• 报告生成
• 场景执行
• 旧 qa-channel 场景的兼容别名

• openclaw qa <runner> 如何挂载到共享 qa 根下面
• 如何为该传输配置 gateway
• 如何检查就绪
• 如何注入入站事件
• 如何观测出站消息
• 如何暴露转写记录和标准化的传输状态
• 如何执行传输支持的动作
• 如何处理传输特定的重置或清理

1. 保持 qa-lab 作为共享 qa 根的所有者。
2. 在共享 qa-lab 主机连接点上实现传输 runner。
3. 将传输特定机制保留在 runner 插件或频道 harness 内部。
4. 以 openclaw qa <runner> 的形式挂载 runner，而不是注册一个竞争性的根命令。Runner 插件应在 openclaw.plugin.json 中声明 qaRunners，并从 runtime-api.ts 导出匹配的 qaRunnerCliRegistrations 数组。保持 runtime-api.ts 轻量；懒加载 CLI 和 runner 执行应保留在独立入口之后。
5. 在主题化的 qa/scenarios/ 目录下编写或改造 Markdown 场景。
6. 对新场景使用通用场景助手。
7. 除非仓库正在进行有意的迁移，否则保持现有兼容别名可用。

• 如果行为可以在 qa-lab 中只实现一次，就把它放在 qa-lab。
• 如果行为依赖于某个频道传输，就把它保留在那个 runner 插件或插件 harness 中。
• 如果某个场景需要一个多个频道都能使用的新能力，添加一个通用助手，而不是在 suite.ts 中写特定频道分支。
• 如果某个行为只对一种传输有意义，就让该场景保持传输特定，并在场景契约中明确说明。

​

场景助手名称

• waitForTransportReady
• waitForChannelReady
• injectInboundMessage
• injectOutboundMessage
• waitForTransportOutboundMessage
• waitForChannelOutboundMessage
• waitForNoTransportOutbound
• getTransportSnapshot
• readTransportMessage
• readTransportTranscript
• formatTransportTranscript
• resetTransport

​

报告

• 哪些工作正常
• 哪些失败了
• 哪些仍然被阻塞
• 值得补充哪些后续场景

pnpm openclaw qa character-eval \
  --model openai/gpt-5.5,thinking=medium,fast \
  --model openai/gpt-5.2,thinking=xhigh \
  --model openai/gpt-5,thinking=xhigh \
  --model anthropic/claude-opus-4-8,thinking=high \
  --model anthropic/claude-sonnet-4-6,thinking=high \
  --model zai/glm-5.1,thinking=high \
  --model moonshot/kimi-k2.5,thinking=high \
  --model google/gemini-3.1-pro-preview,thinking=high \
  --judge-model openai/gpt-5.5,thinking=xhigh,fast \
  --judge-model anthropic/claude-opus-4-8,thinking=high \
  --blind-judge-models \
  --concurrency 16 \
  --judge-concurrency 16

​

相关文档

• Matrix QA
• 个人 agent 基准包
• QA Channel
• 测试
• 仪表盘