QA 概览

• extensions/qa-channel：合成消息通道，提供 DM、channel、thread、 reaction、edit 和 delete 等表面。
• extensions/qa-lab：用于观察转录、注入入站消息并导出 Markdown 报告的调试器 UI 和 QA 总线。
• extensions/qa-matrix：实时传输适配器，在子 QA 网关中驱动真正的 Matrix 插件。
• qa/：用于 kickoff 任务和基线 QA 场景的基于仓库的种子资产。
• Mantis：针对需要真实传输、浏览器截图、VM 状态和 PR 证据的 bug， 提供前后对比的实时验证。

​

命令面

​

由 profile 支持的 qa run

pnpm openclaw qa run \
  --qa-profile smoke-ci \
  --category channel-framework.conversation-routing-and-delivery \
  --provider-mode mock-openai \
  --output-dir .artifacts/qa-e2e/smoke-ci-profile-dispatch

pnpm openclaw --profile work qa run --qa-profile smoke-ci

​

操作流程

• 左侧：带有 agent 的 Gateway 仪表盘（控制 UI）。
• 右侧：QA Lab，显示类似 Slack 的转录和场景计划。

pnpm qa:lab:up

pnpm openclaw qa docker-build-image
pnpm qa:lab:build
pnpm qa:lab:up:fast
pnpm qa:lab:watch

​

可观测性烟雾测试

​

Matrix 烟雾通道

OPENCLAW_QA_MATRIX_NO_REPLY_WINDOW_MS=3000 \
  pnpm openclaw qa matrix --provider-mode mock-openai --profile fast --fail-fast

OPENCLAW_LIVE_OPENAI_KEY="${OPENAI_API_KEY}" \
OPENCLAW_QA_MATRIX_NO_REPLY_WINDOW_MS=3000 \
  pnpm openclaw qa matrix --provider-mode live-frontier --profile fast --fail-fast

​

Discord Mantis 场景

pnpm openclaw qa discord
pnpm openclaw qa slack
pnpm openclaw qa telegram
pnpm openclaw qa whatsapp

​

Mantis Slack 桌面与视觉任务运行器

pnpm openclaw qa mantis slack-desktop-smoke \
  --gateway-setup \
  --scenario slack-canary \
  --keep-lease

pnpm openclaw qa mantis slack-desktop-smoke \
  --approval-checkpoints \
  --credential-source convex \
  --credential-role maintainer

pnpm openclaw qa mantis visual-task \
  --browser-url https://example.net \
  --expect-text "Example Domain" \
  --vision-model openai/gpt-5.5

​

凭证池健康检查

pnpm openclaw qa credentials doctor

​

实时传输覆盖

pnpm openclaw qa suite --runner multipass --scenario channel-chat-baseline

​

Discord、Slack、Telegram 和 WhatsApp QA 参考

​

共享 CLI 标志

​

Telegram QA

pnpm openclaw qa telegram

• OPENCLAW_QA_TELEGRAM_GROUP_ID - 数字聊天 ID（字符串）。
• OPENCLAW_QA_TELEGRAM_DRIVER_BOT_TOKEN
• OPENCLAW_QA_TELEGRAM_SUT_BOT_TOKEN

• telegram-canary
• telegram-mention-gating
• telegram-mentioned-message-reply
• telegram-help-command
• telegram-commands-command
• telegram-tools-compact-command
• telegram-whoami-command
• telegram-status-command
• telegram-repeated-command-authorization
• telegram-other-bot-command-gating
• telegram-context-command
• telegram-current-session-status-tool
• telegram-tool-only-usage-footer
• telegram-reply-chain-exact-marker
• telegram-stream-final-single-message
• telegram-long-final-reuses-preview
• telegram-long-final-three-chunks

• telegram-qa-report.md
• qa-evidence.json - 直播传输检查的证据条目，包含 profile、coverage、 provider、channel、artifacts、result 和 RTT 字段。

OPENCLAW_QA_CREDENTIAL_SOURCE=convex \
pnpm test:docker:npm-telegram-live

​

Discord QA

pnpm openclaw qa discord

• OPENCLAW_QA_DISCORD_GUILD_ID
• OPENCLAW_QA_DISCORD_CHANNEL_ID
• OPENCLAW_QA_DISCORD_DRIVER_BOT_TOKEN
• OPENCLAW_QA_DISCORD_SUT_BOT_TOKEN
• OPENCLAW_QA_DISCORD_SUT_APPLICATION_ID - 必须与 Discord 返回的 SUT bot 用户 id 一致 （否则该 lane 会快速失败）。

• OPENCLAW_QA_DISCORD_CAPTURE_CONTENT=1 会在 observed-message artifacts 中保留消息正文。
• OPENCLAW_QA_DISCORD_VOICE_CHANNEL_ID 为 discord-voice-autojoin 选择语音/舞台频道；如果未设置，场景会为 SUT bot 选择第一个可见的语音/舞台频道。

• discord-canary
• discord-mention-gating
• discord-native-help-command-registration
• discord-voice-autojoin - 可选语音场景。单独运行，启用 channels.discord.voice.autoJoin，并验证 SUT bot 当前的 Discord 语音状态是目标语音/舞台频道。Convex Discord 凭据可以包含可选的 voiceChannelId；否则运行器会在 guild 中发现第一个可见的语音/舞台频道。
• discord-status-reactions-tool-only - 可选 Mantis 场景。单独运行，因为它会将 SUT 切换为始终在线、仅工具的 guild 回复，并将 messages.statusReactions.enabled=true，然后捕获一个 REST reaction 时间线以及 HTML/PNG 视觉 artifacts。Mantis 的前后报告也会将场景提供的 MP4 artifacts 以 baseline.mp4 和 candidate.mp4 的形式保留。
• discord-thread-reply-filepath-attachment - 可选 Mantis 场景；参见 Discord Mantis 场景。

pnpm openclaw qa discord \
  --scenario discord-voice-autojoin \
  --provider-mode mock-openai

pnpm openclaw qa discord \
  --scenario discord-status-reactions-tool-only \
  --provider-mode live-frontier \
  --model openai/gpt-5.5 \
  --alt-model openai/gpt-5.5 \
  --fast

• discord-qa-report.md
• qa-evidence.json - live transport 检查的证据条目。
• discord-qa-observed-messages.json - 除非设置了 OPENCLAW_QA_DISCORD_CAPTURE_CONTENT=1，否则正文会被脱敏。
• discord-qa-reaction-timelines.json 和 discord-status-reactions-tool-only-timeline.png，当状态反应场景运行时生成。

​

Slack QA

pnpm openclaw qa slack

• OPENCLAW_QA_SLACK_CHANNEL_ID
• OPENCLAW_QA_SLACK_DRIVER_BOT_TOKEN
• OPENCLAW_QA_SLACK_SUT_BOT_TOKEN
• OPENCLAW_QA_SLACK_SUT_APP_TOKEN

• OPENCLAW_QA_SLACK_CAPTURE_CONTENT=1 会将消息正文保留在 observed-message 工件中。
• OPENCLAW_QA_SLACK_APPROVAL_CHECKPOINT_DIR 为 Mantis 启用可视化审批检查点。运行器会写入 <scenario>.pending.json 和 <scenario>.resolved.json，然后等待匹配的 .ack.json 文件。
• OPENCLAW_QA_SLACK_APPROVAL_CHECKPOINT_TIMEOUT_MS 覆盖检查点确认超时时间。默认值为 120000。

• slack-canary
• slack-mention-gating
• slack-allowlist-block
• slack-top-level-reply-shape
• slack-restart-resume
• slack-thread-follow-up
• slack-thread-isolation
• slack-reaction-glyph-native - 可选启用的实时 message-tool reaction 场景。指导 agent 发送精确的 ✅ 字形，并确认 Slack 在目标消息上为 SUT bot 存储了 white_check_mark。
• slack-approval-exec-native - 可选启用的原生 Slack exec 审批场景。通过 gateway 请求一次 exec 审批，验证 Slack 消息具有原生审批按钮，进行处理，并验证已解决的 Slack 更新。
• slack-approval-plugin-native - 可选启用的原生 Slack 插件审批场景。将 exec 和插件审批转发同时启用，这样插件事件不会被 exec 审批路由抑制，然后验证相同的 pending/resolved 原生 Slack UI 路径。
• slack-codex-approval-exec-native - 可选启用的 Codex Guardian 命令审批场景。以 Guardian 模式启用 Codex 插件，将一个源自 Slack 的 Gateway agent 回合通过 Codex app-server harness 路由，等待 openclaw-codex-app-server 的原生 Slack 插件审批提示，解决它，并验证 Codex 回合以预期的 command-output 和 assistant 标记完成。
• slack-codex-approval-plugin-native - 可选启用的 Codex Guardian 文件审批场景。使用工作区外的 apply_patch 指令，使 Codex 发出 app-server 文件变更审批路由，然后验证相同的原生 Slack pending/resolved 审批路径、最终 assistant 标记，以及在清理前的精确文件内容。

• slack-qa-report.md
• qa-evidence.json - live transport 检查的证据条目。
• slack-qa-observed-messages.json - 除非设置 OPENCLAW_QA_SLACK_CAPTURE_CONTENT=1，否则正文会被脱敏。
• approval-checkpoints/ - 仅在 Mantis 设置了 OPENCLAW_QA_SLACK_APPROVAL_CHECKPOINT_DIR 时存在；包含检查点 JSON、确认 JSON，以及 pending/resolved 截图。

​

设置 Slack 工作区

• channelId - 两个机器人都已被邀请加入的频道的 Cxxxxxxxxxx id。请使用专用频道；该通道每次运行都会发消息。
• driverBotToken - Driver 应用的 bot token（xoxb-...）。
• sutBotToken - SUT 应用的 bot token（xoxb-...），它必须与 driver 是不同的 Slack 应用，这样它的 bot user id 才会不同。
• sutAppToken - SUT 应用的 app-level token（xapp-...），带有 connections:write，由 Socket Mode 使用，使 SUT 应用能够接收事件。

{
  "display_information": {
    "name": "OpenClaw QA Driver",
    "description": "OpenClaw QA Slack live lane 的测试 driver bot"
  },
  "features": {
    "bot_user": {
      "display_name": "OpenClaw QA Driver",
      "always_online": true
    }
  },
  "oauth_config": {
    "scopes": {
      "bot": ["chat:write", "channels:history", "groups:history", "users:read"]
    }
  },
  "settings": {
    "socket_mode_enabled": false
  }
}

{
  "display_information": {
    "name": "OpenClaw QA SUT",
    "description": "OpenClaw QA SUT connector for OpenClaw"
  },
  "features": {
    "bot_user": {
      "display_name": "OpenClaw QA SUT",
      "always_online": true
    },
    "app_home": {
      "home_tab_enabled": true,
      "messages_tab_enabled": true,
      "messages_tab_read_only_enabled": false
    }
  },
  "oauth_config": {
    "scopes": {
      "bot": [
        "app_mentions:read",
        "assistant:write",
        "channels:history",
        "channels:read",
        "chat:write",
        "commands",
        "emoji:read",
        "files:read",
        "files:write",
        "groups:history",
        "groups:read",
        "im:history",
        "im:read",
        "im:write",
        "mpim:history",
        "mpim:read",
        "mpim:write",
        "pins:read",
        "pins:write",
        "usergroups:read",
        "users:read"
      ]
    }
  },
  "settings": {
    "socket_mode_enabled": true,
    "event_subscriptions": {
      "bot_events": [
        "app_home_opened",
        "app_mention",
        "channel_rename",
        "member_joined_channel",
        "member_left_channel",
        "message.channels",
        "message.groups",
        "message.im",
        "message.mpim",
        "pin_added",
        "pin_removed"
      ]
    }
  }
}

• Install to Workspace → 复制 Bot User OAuth Token → 它将成为 sutBotToken。
• Basic Information → App-Level Tokens → Generate Token and Scopes → 添加 scope connections:write → 保存 → 复制 xapp-... 值 → 它将成为 sutAppToken。

/invite @OpenClaw QA Driver
/invite @OpenClaw QA SUT

{
  "channelId": "Cxxxxxxxxxx",
  "driverBotToken": "xoxb-...",
  "sutBotToken": "xoxb-...",
  "sutAppToken": "xapp-..."
}

pnpm openclaw qa credentials add \
  --kind slack \
  --payload-file slack-creds.json \
  --note "QA Slack 池种子"

pnpm openclaw qa credentials list --kind slack --status all --json

pnpm openclaw qa slack \
  --credential-source convex \
  --credential-role maintainer \
  --output-dir .artifacts/qa-e2e/slack-local

​

WhatsApp QA

pnpm openclaw qa whatsapp

• OPENCLAW_QA_WHATSAPP_DRIVER_PHONE_E164
• OPENCLAW_QA_WHATSAPP_SUT_PHONE_E164
• OPENCLAW_QA_WHATSAPP_DRIVER_AUTH_ARCHIVE_BASE64
• OPENCLAW_QA_WHATSAPP_SUT_AUTH_ARCHIVE_BASE64

• OPENCLAW_QA_WHATSAPP_GROUP_JID 启用群组场景，例如 whatsapp-mention-gating、whatsapp-group-pending-history-context、 whatsapp-broadcast-group-fanout、whatsapp-group-activation-always、 whatsapp-group-reply-to-bot-triggers、群组 action/media/poll 场景， 以及 whatsapp-group-allowlist-block。
• OPENCLAW_QA_WHATSAPP_CAPTURE_CONTENT=1 保留 observed-message 产物中的消息正文。

• 基线与群组 gating：whatsapp-canary、whatsapp-pairing-block、 whatsapp-mention-gating、whatsapp-group-pending-history-context、 whatsapp-group-activation-always、whatsapp-group-reply-to-bot-triggers、 whatsapp-top-level-reply-shape、whatsapp-restart-resume、 whatsapp-group-allowlist-block。
• 原生命令：whatsapp-help-command、whatsapp-status-command、 whatsapp-commands-command、whatsapp-tools-compact-command、 whatsapp-whoami-command、whatsapp-context-command、 whatsapp-native-new-command。
• 回复与最终输出行为：whatsapp-tool-only-usage-footer、 whatsapp-reply-to-message、whatsapp-group-reply-to-message、 whatsapp-reply-to-mode-batched、whatsapp-reply-context-isolation、 whatsapp-reply-delivery-shape、whatsapp-stream-final-message-accounting。
• 用户路径消息 action：whatsapp-agent-message-action-react 从一个真实的 driver DM 开始， 让模型调用 message 工具，并观察原生 WhatsApp reaction。whatsapp-agent-message-action-upload-file 使用相同的姿态来处理 message(action=upload-file)，并观察原生 WhatsApp 媒体。 whatsapp-group-agent-message-action-react 和 whatsapp-group-agent-message-action-upload-file 在真实 WhatsApp 群组中证明了相同的 用户可见行为。
• 群组 fanout：whatsapp-broadcast-group-fanout 从一条被提及的 WhatsApp 群组消息开始，并验证来自 main 和 qa-second 的不同可见回复。
• 群组激活：whatsapp-group-activation-always 将一个真实群组会话切换为 /activation always， 证明一条未提及的群组消息会唤醒 agent，然后恢复 /activation mention。 whatsapp-group-reply-to-bot-triggers 先播种一个 bot 回复， 再向其发送一条原生引用回复且不包含显式 mention，并验证 agent 会从该回复上下文中被唤醒。
• 入站媒体与结构化消息：whatsapp-inbound-image-caption、 whatsapp-audio-preflight、whatsapp-inbound-structured-messages、 whatsapp-group-audio-gating、whatsapp-inbound-reaction-no-trigger。 这些场景通过 driver 发送真实的 WhatsApp 图片、音频、文档、位置、联系人、 sticker 和 reaction 事件。
• 直接 Gateway 合同探针：whatsapp-outbound-media-matrix、 whatsapp-outbound-document-preserves-filename、whatsapp-outbound-poll、 whatsapp-outbound-send-serialization、 whatsapp-group-outbound-media、whatsapp-group-outbound-poll、 whatsapp-message-actions、whatsapp-reply-context-isolation、 whatsapp-reply-delivery-shape。这些场景有意绕过模型提示， 以证明确定性的 Gateway/channel send、poll 和 message.action 合同。
• 访问控制覆盖：whatsapp-access-control-dm-open、 whatsapp-access-control-dm-disabled、whatsapp-access-control-group-open、 whatsapp-access-control-group-disabled、whatsapp-group-allowlist-block。
• 原生审批：whatsapp-approval-exec-deny-native、 whatsapp-approval-exec-native、whatsapp-approval-exec-reaction-native、 whatsapp-approval-exec-group-reaction-native、 whatsapp-approval-plugin-native。
• 状态 reaction：whatsapp-status-reactions、 whatsapp-status-reaction-lifecycle。

• whatsapp-qa-report.md
• qa-evidence.json - live transport 检查的证据条目。
• whatsapp-qa-observed-messages.json - 除非 OPENCLAW_QA_WHATSAPP_CAPTURE_CONTENT=1，否则正文会被脱敏。

​

Convex 凭据池

• Discord（kind: "discord"）：{ guildId: string, channelId: string, driverBotToken: string, sutBotToken: string, sutApplicationId: string }。
• Telegram（kind: "telegram"）：{ groupId: string, driverToken: string, sutToken: string } - groupId 必须是数字聊天 ID 字符串。
• Telegram 真人用户（kind: "telegram-user"）：{ groupId: string, sutToken: string, testerUserId: string, testerUsername: string, telegramApiId: string, telegramApiHash: string, tdlibDatabaseEncryptionKey: string, tdlibArchiveBase64: string, tdlibArchiveSha256: string, desktopTdataArchiveBase64: string, desktopTdataArchiveSha256: string } -
  仅用于 Mantis Telegram Desktop 证明。通用 QA Lab 线路不得获取此类型。
• WhatsApp（kind: "whatsapp"）：{ driverPhoneE164: string, sutPhoneE164: string, driverAuthArchiveBase64: string, sutAuthArchiveBase64: string, groupJid?: string } - 手机号必须是不同的 E.164 字符串。

​

仓库支持的种子

• qa/scenarios/index.yaml
• qa/scenarios/<theme>/*.yaml

• 顶层 title
• scenario 元数据
• scenario 中可选的 category、capability、lane 和 risk 元数据
• scenario 中的 docs 和 code refs
• scenario 中可选的插件需求
• scenario 中可选的网关配置补丁
• 用于 flow 场景的可执行顶层 flow，或 Vitest 和 Playwright 场景的 scenario.execution.kind / scenario.execution.path

• DM 和频道聊天
• 线程行为
• 消息操作生命周期
• cron 回调
• 记忆召回
• 模型切换
• 子代理交接
• 仓库读取和文档读取
• 一个小型构建任务，例如 Lobster Invaders

​

Provider mock 通道

• mock-openai 是具备场景感知的 OpenClaw mock。它仍然是基于仓库的 QA 和 parity gates 的默认确定性 mock 通道。
• aimock 会启动一个基于 AIMock 的 provider server，用于实验性的 protocol、fixture、record/replay 和 chaos 覆盖。它是增量添加的， 不会替代 mock-openai 场景分发器。

​

传输适配器

• qa-lab 负责通用场景执行、工作线程并发、制品写入和报告。
• 传输适配器负责网关配置、就绪检查、入站和出站观察、传输操作以及规范化的传输状态。
• qa/scenarios/ 下的 YAML 场景文件定义测试运行；qa-lab 提供执行它们的可复用运行时表面。

​

添加一个通道

• openclaw qa 命令根
• 套件启动与清理
• 工作线程并发
• 制品写入
• 报告生成
• 场景执行
• 旧版 qa-channel 场景的兼容别名

• 如何将 openclaw qa <runner> 挂载到共享 qa 根命令下
• 该传输的网关如何配置
• 如何检查就绪状态
• 如何注入入站事件
• 如何观察出站消息
• 如何暴露转录和规范化的传输状态
• 如何执行基于传输的操作
• 如何处理传输特定的重置或清理

1. 保持 qa-lab 作为共享 qa 根命令的所有者。
2. 在共享的 qa-lab 主机接缝上实现传输运行器。
3. 将传输特定机制保留在运行器插件或通道 harness 内部。
4. 将运行器挂载为 openclaw qa <runner>，而不是注册一个竞争性的根命令。运行器插件应在 openclaw.plugin.json 中声明 qaRunners，并从 runtime-api.ts 导出匹配的 qaRunnerCliRegistrations 数组。保持 runtime-api.ts 轻量；惰性 CLI 和运行器执行应继续留在各自独立的入口点之后。
5. 在主题化的 qa/scenarios/ 目录下编写或调整 YAML 场景。
6. 为新场景使用通用场景辅助函数。
7. 除非仓库正在进行有意的迁移，否则保持现有兼容别名可用。

• 如果某种行为可以在 qa-lab 中一次性表达，就放进 qa-lab。
• 如果某种行为依赖于某一个通道传输，就将其保留在对应的运行器插件或插件 harness 中。
• 如果某个场景需要一个多个通道都能使用的新能力，就添加一个通用辅助函数，而不是在 suite.ts 中加入通道特定分支。
• 如果某种行为只对某一种传输有意义，就让场景保持传输特定，并在场景契约中明确说明这一点。

​

场景辅助函数名称

• waitForTransportReady
• waitForChannelReady
• injectInboundMessage
• injectOutboundMessage
• waitForTransportOutboundMessage
• waitForChannelOutboundMessage
• waitForNoTransportOutbound
• getTransportSnapshot
• readTransportMessage
• readTransportTranscript
• formatTransportTranscript
• resetTransport

​

报告

• 哪些工作正常
• 哪些失败了
• 哪些仍然被阻塞
• 值得补充哪些后续场景

pnpm openclaw qa character-eval \
  --model openai/gpt-5.5,thinking=medium,fast \
  --model openai/gpt-5.2,thinking=xhigh \
  --model openai/gpt-5,thinking=xhigh \
  --model anthropic/claude-opus-4-8,thinking=high \
  --model anthropic/claude-sonnet-4-6,thinking=high \
  --model zai/glm-5.1,thinking=high \
  --model moonshot/kimi-k2.5,thinking=high \
  --model google/gemini-3.1-pro-preview,thinking=high \
  --judge-model openai/gpt-5.5,thinking=xhigh,fast \
  --judge-model anthropic/claude-opus-4-8,thinking=high \
  --blind-judge-models \
  --concurrency 16 \
  --judge-concurrency 16

​

相关文档

• 矩阵 QA
• 成熟度评分卡
• 个人代理基准测试包
• QA 频道
• 测试
• 仪表板