本页内容
本页内容
测试和CI
Mantis Slack 桌面运行手册
Mantis Slack 桌面 QA 是真正的 UI 通道,用于需要 Linux 桌面的 Slack- 类错误、VNC 救援、 Slack Web、真实的 OpenClaw 网关、屏幕截图、视频和 PR 证据评论。当单元测试或无头 Slack 实时通道无法证明错误时使用它。
术语
- Mantis - 运行这些场景并发布可视化 CI 证据和 PR 评论的 OpenClaw 系统。
- Crabbox -
openclaw/crabbox服务,提供预热的 Linux 机器、租赁和 VNC 访问。 - Convex - 将 QA Slack 凭证租赁给运行的凭证代理,因此工作流仅需要 Convex 代理密钥,而不需要原始 Slack 令牌。
- 暖租 - 早期运行中仍然有效的 Crabbox 租约。热租约可以保留登录的浏览器配置文件、pnpm 缓存和准备好的源签出。
存储模型
Mantis 使用三个存储层:
- Provider image - 由 Crabbox 拥有,存储在云服务提供商账户中。 包含机器能力(Chrome/Chromium、ffmpeg、scrot、 Node/corepack/pnpm、原生构建工具)以及空的缓存目录。
- Warm lease state - 由当前 operator session 拥有。可以在 lease 有效期间保存已登录的浏览器配置文件、
/var/cache/crabbox/pnpm,以及已准备好的源码 checkout。 - Mantis 工件 - 由OpenClaw 运行拥有。住在
.artifacts/qa-e2e/mantis/...下。 GitHub Actions 上传它们,Mantis GitHub 应用程序评论 PR 上的内嵌证据。
绝不要将 secrets、浏览器 cookies、Slack 登录状态、仓库 checkout、 node_modules 或 dist/ 烘焙进 provider image。
重用 --output-dir 会替换当前运行的证据,同时保留不相关的诊断和未选择的批准检查点。每次运行都会根据其自己的分阶段传入工件确定其结论。共享固定输出路径的并发运行可以交错文件和摘要。当并发运行需要一致的每次运行包时,必须使用单独的输出目录。
GitHub 派发
从 main 运行工作流:
candidate_ref 受到限制,因为该工作流使用实时凭据:它必须解析为当前 main 的祖先、发布标签,或 openclaw/openclaw 中一个已打开 PR 的头部提交。
该工作流会生成:
- 已上传的制品
mantis-slack-desktop-smoke-<run-id>-<attempt> - 来自 Mantis GitHub App 的内联 PR 评论
slack-desktop-smoke.png,slack-desktop-smoke.mp4slack-desktop-smoke-preview.gif,slack-desktop-smoke-change.mp4mantis-slack-desktop-smoke-summary.json,mantis-slack-desktop-smoke-report.md- 远程日志:
slack-desktop-command.log、openclaw-gateway.log、chrome.log、ffmpeg.log
The PR comment is updated in place via the hidden <!-- mantis-slack-desktop-smoke --> marker.
本地 CLI
冷源代码证明:
保留 VM 以便进行 VNC 救援:
打开 VNC:
重用热租约:
仅当重用的远程工作空间已具有 node_modules 和内置 dist/ 时,才使用 --hydrate-mode prehydrated。否则,螳螂拒绝逃跑。
证明原生 Slack 审批 UI:
--approval-checkpoints 与 --gateway-setup 互斥。除非您通过显式批准检查点 --scenario,否则它会运行选择加入 slack-approval-exec-native 和 slack-approval-plugin-native 场景。在 VM 启动之前,其他 Slack 场景将被拒绝。 Slack QA 运行程序根据其观察到的真实 Slack API 消息写入每个检查点 JSON 文件,然后远程观察程序将该消息渲染到 approval-checkpoints/<scenario>-pending.png 和 approval-checkpoints/<scenario>-resolved.png 中。如果任何检查点 JSON、消息证据、ack JSON 或渲染的屏幕截图丢失或为空,则运行失败。
冷启动的 GitHub Actions 租约没有 Slack Web cookie,因此其浏览器捕获可能会落在 Slack 登录界面上。对于审批检查点证明,请信任渲染后的检查点图片和 Slack QA 工件,而不是 slack-desktop-smoke.png。只有当浏览器截图本身必须显示 Slack Web 时,才使用保留的热租约以及手动登录的 Slack Web 配置文件。
Hydrate 模式
| 模式 | 适用场景 | 远程行为 | 取舍 |
|---|---|---|---|
source |
正常的 PR 证明、冷机器、CI | 在 VM 内运行 pnpm install --frozen-lockfile --prefer-offline 和 pnpm build |
最慢,但源代码检出证明最强 |
prehydrated |
你有意准备了一个可重用的租约 | 需要已有的 node_modules 和 dist/;跳过 install/build |
快,但只对操作员可控的热租约有效 |
GitHub Actions 总是在 VM 运行之前准备候选检出内容。其 pnpm 存储按 OS、Node 版本和 lockfile 进行缓存。VM 的 source 运行在存在时也会重用 /var/cache/crabbox/pnpm。
时间解释
mantis-slack-desktop-smoke-report.md 包含各阶段耗时:
crabbox.warmup- 云提供商启动、desktop/browser 就绪、SSH。crabbox.inspect- 租约元数据查询。credentials.prepare- Convex 凭据租约获取。crabbox.remote_run- 同步、浏览器启动、OpenClaw install/build 或水合物验证、网关启动、屏幕截图和视频捕获。artifacts.copy- 从 VM 同步回来。
当 Crabbox 返回非零远程状态码,但 Mantis 复制了元数据,证明 OpenClaw 网关设置已完成,或者 Slack QA 命令本身已成功退出时,crabbox.remote_run 可能显示 accepted。将 accepted 视为“通过但附带说明”,而不是失败场景。
如果运行很慢:
- Warmup 占主导地位:预烘焙或推广更好的 Crabbox 提供商形象。
remote_run在source模式下占主导:使用热租约,改进 pnpm store 复用,或将机器前置条件移入提供商镜像。remote_run在prehydrated中占主导地位:远程工作空间实际上尚未准备好,或者 gateway/browser/Slack 设置速度很慢。- Artifact副本控制:检查视频大小和artifact目录内容。
证据检查清单
一个好的 PR 评论应展示:
- 场景 id 和候选 SHA
- GitHub Actions 运行 URL 和制品 URL
- 内联 approval-checkpoint 截图,或来自已登录 warm lease 的 Slack Web 截图
- 如有可用,内联动画预览
- 完整 MP4 和裁剪后的 MP4 链接
- pass/fail 状态和报告的时间摘要
不要把截图或视频提交到仓库中。请将它们保留在 GitHub Actions 制品或 PR 评论里。
失败处理
如果工作流在 VM 运行之前失败,请首先检查操作作业。典型原因:不受信任的 candidate_ref、丢失环境机密或候选 install/build 故障。
如果 VM 运行失败但截图已拷回,请检查:
如果运行保留了租约,请使用报告中的 crabbox vnc ... 命令通过 VNC 打开,然后在完成后停止租约:
如果 Slack 登录已过期,请在保留的租约上通过 VNC 修复,然后使用 --lease-id 重新运行。不要把那个浏览器配置文件烘焙进 provider image 中。