外部验收修复实验 HappyWei22/dsh-repair-loop-study

基于外部测试反馈的代码 Agent 二阶段修复实验

给代码 Agent 一次“看完测试再修”的机会

这是我基于 DeepSeek Harness（DSH）和 Harbor 做的一项 Agent 可靠性实验。

我想验证的事情很具体：Agent 写完代码后，如果外部测试发现它没处理好的情况，我们能不能只告诉它哪里表现不对，让它再修一次？

在 cancel-async-tasks 这道公开题上，我固定模型、题目和测试跑了 3 次：

| 轮次 | 第一次提交 | 看完测试反馈再修一次 |
| r1 | 5/6 | 6/6 |
| r2 | 5/6 | 6/6 |
| r3 | 6/6 | 6/6 |

三轮中，第一次外部验收只有 r3 通过。经过一次修复后，三轮都是 6/6。

这道题在测什么

题目要求 Agent 写一个异步任务调度函数。输入是一批任务和一个并发上限，例如：

共有 3 个任务，并发上限是 2

正常情况下，前两个任务先运行，其中一个结束后，第三个才能开始。如果运行中收到 Ctrl+C，程序应该让已经开始的任务完成清理，同时不要再启动还在排队的任务。

所以在这个例子里，正确结果是：

任务 1、2 已开始 → 收到 Ctrl+C → 任务 1、2 完成清理任务 3 从未开始

实验里发生了什么

r1 和 r2 的 Agent 都写出了一份看起来完整的实现，也自己跑了不少测试。普通执行和大部分取消测试都通过了，但在“3 个任务、并发上限 2、运行中收到 Ctrl+C”这个情况下出了问题。

第一次的代码提前为 3 个任务都创建了 asyncio.Task。虽然同一时间只有两个任务真正运行，第三个已经在事件循环里等待；取消和清理过程中，它可能拿到刚释放的名额并被错误启动。因此外部测试只通过 5/6。

我没有把隐藏测试源码和完整 traceback 交给 Agent，只告诉它：

有任务排队时，KeyboardInterrupt 下的任务启动和清理行为不正确。

Agent 第二次检查代码时改用了 worker pool：只创建并发上限数量的 worker，worker 空闲后才从队列取下一个任务。这样收到 Ctrl+C 时，只需清理正在工作的两个 worker，第三个任务还没被取出，也就不会意外启动。相同的外部测试随后从 5/6 变成 6/6。

r3 第一次就通过了。第二阶段收到 all_passed=true 后没有修改代码，结果仍然是 6/6。

我加了哪一段流程

flowchart LR
A[公开编程任务] --> B[DSH 第一次写代码]
B --> C[Harbor 外部测试]
C --> D[只整理行为反馈]
D --> E[删除隐藏测试和测试日志]
E --> F[DSH 修一次]
F --> G[同一套外部测试复查]

这里有三个我比较在意的约束：

- 测试结果由 Harbor 产生，Agent 不能自己填写“通过”；
- 第二次修复前会删除 /tests、测试驱动和 verifier 日志，避免直接读答案；
- 每轮保存修复前代码、修复后代码、测试结果和工具调用记录，方便事后核对。

第二次使用新的 DSH 会话，但沿用第一次的 /app 工作区，所以它能看到原来的代码和简短反馈。

过程中还遇到的一个 Harness 问题

刚开始时，Harbor 已经把任务放进 Docker，DSH 又在容器里要求一层 workspace-write 沙箱。但这个容器没有可用的沙箱后端，headless 模式也没法弹出审批，结果是 Agent 连 Bash 都不能运行。

我把 DSH 的命令权限改成只在 Harbor 临时容器内使用 danger-full-access。3 轮复验里，Bash 从 0/8 次成功恢复到 35/46 次成功，沙箱报错消失。不过最终任务通过率仍然是 0/3，所以我只把它写成“恢复了命令工具”，没有写成“提高了任务成功率”。

详细记录在 失败案例与 Harness 改进。

代码和结果从哪里看

- DSH-Harbor 适配器：把 DSH 装进 Harbor 任务容器，并保存版本和运行记录。
- 两阶段任务构建器：定义第一次执行、反馈和第二次执行。
- 反馈整理脚本：只输出行为说明，不输出测试源码。
- 三轮结果：1/3 到 3/3 的原始统计。
- 脱敏证据：每轮的测试计数、代码哈希和实际反馈；完整运行记录保存在私有实验档案中。
- 失败案例记录：哪些算 Harness 问题，哪些只是模型或环境问题。

DeepSeek Harness 是上游开源项目。我写的是适配器、反馈插件、Harbor 任务、统计脚本和实验记录。

在本机复现

现有 r1/r2/r3 已经冻结，不需要为了看结果重新调用模型。如果要新跑一轮：

公开仓库不包含 Terminal-Bench 的隐藏测试和参考答案。先从官方来源取得任务，再按复现说明准备本地任务目录：

python3 experiment/build_task.py \
--source /path/to/cancel-async-tasks \
--output work/cancel-async-tasks-one-repair

构建本机任务镜像 bash scripts/prepare-image.sh

先用参考答案检查任务和测试，不调用模型 bash scripts/run-oracle.sh

正式运行，会调用模型两次 bash scripts/run-pilot.sh

我最终能确认的是：在这道题的三次运行中，外部测试两次发现了 Agent 自测漏掉的问题，这两次都在一次反馈修复后通过。样本还不够大，也没有“不给反馈、只让它再试一次”的控制组，所以我不把结果写成通用成功率提升。