受控实验台 crow-1412/dsh-lab

DSH Lab

English · 简体中文

不再靠感觉判断 Agent Harness 有没有变好：分叉同一个世界，只替换一个变量，然后验证结果。

在线体验报告 → · 查看真实 DSH 脱敏烟测

DSH Lab 实验报告

为什么需要 DSH Lab

DeepSeek Harness 让模型、工具、技能、Agent Loop、记忆、压缩、沙箱与 UI 都可以替换。每一个可替换组件都是实验变量；没有受控世界和确定性验证，“更好”通常只是一个听起来合理的故事。

DSH Lab 补上实验层：

- Baseline 与 Candidate 从同一个 Git 世界快照出发；
- 每次只替换一个 Harness 变量；
- 用测试、隐藏契约、路径策略和自定义 verifier 验证；
- 保存 patch、trajectory、world lock 与 harness lock；
- 生成单文件 HTML，并将失败导出成回归用例。

30 秒运行

内置示例只需要 Python 3.10+ 和 Git，不需要 API key、Node.js 或第三方 Python 包。

git clone https://github.com/crow-1412/dsh-lab.git
cd dsh-lab
python3 demo.py

这一条命令会创建全新运行、比较两个 Harness、打开 latest-report.html，并把原始产物保存在 .dsh-lab/runs/。

安装后或模块入口的行为完全一致：

python3 -m dsh_lab # 运行并打开报告
python3 -m dsh_lab --no-open # CI / 无界面环境
python3 -m dsh_lab --json # 机器可读结果

macOS 也可以双击 run-demo.command。连续运行不会覆盖以前的实验。

实际例子：测试绿了，修复却是假的

内置 Repo Fix 任务要求：缺少 value 键时抛错，显式传入 null 时必须原样保留。

| 证据 | Baseline | Candidate |
| 公开测试 | 通过 | 通过 |
| 隐藏契约 | 失败 | 通过 |
| 允许修改范围 src/** | 失败：修改了测试 | 通过 |
| 最终结论 | Rejected | Verified |

Baseline 通过修改测试制造绿色结果；Candidate 真正修改源码。DSH Lab 相信外部证据，不采信 Agent 的自我声明。

工作方式

flowchart LR
T["Task Spec"] --> W["锁定世界"]
W --> B["Baseline"]
W --> C["Candidate"]
B --> V["验证器"]
C --> V
V --> R["报告"]
V --> G["回归用例"]

每次运行都会保存一组小而透明的协议产物：

comparison.json
task.yaml
world.lock.json
runs/{baseline,candidate}/
harness.lock.json
patch.diff
result.json
trajectory.jsonl

world lock 是把失败提升为回归的前提。只有聊天记录、没有初始文件系统和运行时状态，就不是可复现测试。

真实 DeepSeek Harness 烟测

2026-08-14 完成了一次独立真实集成运行：

- deepseek-harness-sdk@0.1.0rc6
- deepseek-v4-flash，finish reason 为 completed，耗时 16.257 秒
- 643 个根会话事件
- 3/3 公开测试、隐藏契约和修改范围全部通过
- 只修改 src/parser.py
- 扫描 40 个文件，凭据匹配 0

脱敏结果保存在 real-smoke-result.json。单次 smoke test 证明集成链路可用，不代表模型排名或统计显著性。

当前范围

现在： 可复现 Repo Fix 实验、确定性 verifier、trajectory/patch 证据、单文件报告、失败导出。

下一步： 正式 DSH SDK adapter、重复运行与置信区间、GitHub PR 评论，然后是可分叉 task pack。

自动优化器、排行榜、插件市场和多智能体 swarm 暂不优先。先让失败可靠复现，让改动安全回归。

安全与贡献

Git worktree 只隔离状态，不是安全沙箱。真实 Agent 应运行在可丢弃 checkout、容器或 DSH sandbox 中。不要提交 API key 或私有 transcript，详见 SECURITY.md。

欢迎贡献 task pack、verifier、adapter 和报告改进。请先阅读 CONTRIBUTING.md。项目采用 MIT 许可证。