dmsobtl/dsh-test-workbench

dsh-test-workbench

基于 DeepSeek Harness 的测试工作台 Profile —— 开箱即用的 QA Agent。

组装了三个插件（UI 验证、会话分析、视觉路由）+ 预置 Skill + QA 测试人格。

快速开始

前提：三个业务插件 dsh-tool-app-verify / dsh-session-analyst / dsh-llm-vision-router
需要先发布到 npm（npm publish），否则下面的 dsh plugin add 找不到它们。

1. 安装 dsh
npm install -g @deepseek-ai/dsh

2. 把本仓库克隆成名为 workbench 的 profile（profile 必须放在 ~/.dsh/profiles// 下）
mkdir -p ~/.dsh/profiles
git clone https://github.com/dmsobtl/dsh-test-workbench.git ~/.dsh/profiles/workbench
cd ~/.dsh/profiles/workbench

3. 安装插件依赖（把三个插件拉进该 profile 的 node_modules）
pnpm install
或逐个：dsh plugin add dsh-tool-app-verify dsh-session-analyst dsh-llm-vision-router

4. 配置 API Key
export DEEPSEEK_API_KEY=your-deepseek-key
export OPENAI_API_KEY=your-openai-key   # 可选，用于有截图时切视觉模型

5. 启动（注意：profile 是名字，不是路径）
dsh --profile workbench "打开 https://example.com 并验证页面标题"

包含什么

插件

| 插件 | 功能 |
|------|------|
| dsh-tool-app-verify | 浏览器/Electron 操作 + UI 断言 + 视觉回归 |
| dsh-session-analyst | 会话质量分析 + 回归检测 |
| dsh-llm-vision-router | 有图片时自动切多模态模型 |

预置 Skill（位于 .agents/skills/，DSH 自动发现）

| Skill | 用途 |
|-------|------|
| test-login-flow | 登录功能完整测试流程 |
| visual-regression | 视觉回归测试标准流程 |
| session-diagnosis | 测试会话效率诊断 |

QA 测试人格

Agent 默认以 QA 专家身份工作（见 cordis.patch.yml 中的 system-prompt persona）。

目录结构

dsh-test-workbench/
├── package.json          # dsh.profile.bundles: dsh-base + dsh-headless（一次性任务模式）
├── cordis.patch.yml      # 插入业务插件 + 覆盖 system-prompt 人格
├── pnpm-workspace.yaml   # 供 pnpm 管理 out-of-tree 插件
├── .agents/skills/       # 项目级 skill（DSH 自动加载）
│   ├── test-login-flow.md
│   ├── visual-regression.md
│   └── session-diagnosis.md
├── baselines/            # 截图基线存储（gitignore）
└── README.md

配置定制

切换视觉模型

编辑 cordis.patch.yml 中 vision-router 的配置：

- insert:
- id: vision-router
name: dsh-llm-vision-router
config:
visionProvider: qwen        # 换成通义千问
visionModel: qwen-vl-plus

同时把 llm-pi-ai 的 providers 改成对应 provider（或另配 adapter）。

切换 Electron 模式

- insert:
- id: app-verify
name: dsh-tool-app-verify
config:
mode: electron

添加新 Skill

在 .agents/skills/ 目录下添加 markdown 文件即可，DSH 会自动加载。

使用示例

快速验证一个页面
dsh --profile workbench "打开 http://localhost:3000，检查首页所有链接是否可点击"

登录流程测试
dsh --profile workbench "用 skill test-login-flow 测试 http://localhost:3000/login，账号 test@example.com / password123"

视觉回归（先建基线，再对比）
dsh --profile workbench "打开 http://localhost:3000，对首页、登录页分别截图保存基线"
dsh --profile workbench "对比首页、登录页的当前截图与基线，输出回归报告"

分析上次测试
dsh --profile workbench "分析最近一次测试会话的效率"

成本估算

| 场景 | DeepSeek 消耗 | Vision 消耗 |
|------|--------------|-------------|
| 5 页面功能验证（无截图） | ~50k tokens | 0 |
| 3 页面视觉回归 | ~30k tokens | ~3 次调用 |
| 完整登录流程测试 | ~80k tokens | ~2 次调用 |

Roadmap

- [ ] dsh-tool-test-runner：结构化测试执行（解析 vitest/jest/pytest）
- [ ] dsh-tool-env-check：环境就绪度检查
- [ ] dsh-tool-api-test：HTTP 接口测试
- [ ] dsh-hook-test-report：turn 结束自动生成报告
- [ ] CI 集成模板（GitHub Actions）
- [ ] 定时巡检 + 钉钉推送

许可证

MIT