本地基准测试 zhengqiuyang/dsh-bench-local

dsh-bench-local

拿DeepSeek Harness配置，在你自己的机器上、跑你自己的任务——确定性检查，如实报告。agentbench-local的论点，跑在 dsh headless 这条轨道上：没有云端基准把你的代码送出去，也没有 LLM 给答案打分——一次尝试只按它留下的可观察产物评分（stdout 文本和工作目录里的文件）。

故意不做成 dsh 插件：基准测试必须拉起全新的智能体进程，所以它是外部 harness，不是会话内适配器。同一家族，不同轨道：dsh-trust-suite。

快速开始

cp bench.example.yaml bench.yaml # edit tasks to match YOUR repo
npx dsh-bench-local run

智能体命令默认是 dsh headless，用你当前配置档里配好的模型。用两套配置各跑一次基准，再对比两份报告——这个对比就是产品本身。

bench.yaml

command: [dsh, headless] # default; prompt is appended as one argv element
tasks:
- name: write-hello
prompt: |
Create hello.txt containing exactly: hello from bench
setup: ["printf 'seed' > seed.txt"] # optional, runs in the workdir
timeoutSec: 300
workdir: . # default: a fresh temp dir per task
checks: # at least one; all must pass
- { kind: file_contains, path: hello.txt, text: "hello from bench" }
- { kind: output_contains, text: "DONE" }
- { kind: file_exists, path: seed.txt }

设计说明：

- 调用智能体不走 shell——提示词作为单个 argv 元素经 spawn 传入，多行提示词不可能把命令行拆开（这类 bug 从结构上就不存在）。
- 每个任务一个全新临时工作目录（或显式指定 workdir）——任务之间看不到彼此留下的垃圾。
- 配置出错就大声报错：含义不明的任务（没有检查项、名字重复、检查类型未知）在任何模型调用之前就中止基准。
- 失败可解释：每一行结果都带上失败的检查项和一段 stdout 摘录——不用重跑就能读懂报告。

输出：bench-report.json（给机器）和 bench-report.md（给人）；只要有任务失败，退出码就非零（可直接接 CI）。

为什么做这个（2026-10-12 核查）

dsh 生态里有答案评审插件（LLM 给回合打分），也有用量看板——但没有东西能用确定性、可复现、本地的证据回答「这个模型/配置对我的仓库任务真的更好吗？」。v0.1 先交付 runner/评分/报告这一层；挖掘支柱（从你的 git 历史里挖任务，用你自己的测试套件评分——完整的 agentbench-local 闭环）在路线图上，到时候会从上游 vendor 进来。

路线图

- 挖掘支柱：从 git 历史生成任务 + 用仓库自己的测试评分（引擎：agentbench-local）
- 模型矩阵：等 dsh headless 长出 model 参数后，按任务用 --model 覆盖；一次运行对比 N 份配置
- 成本列：headless 输出暴露 token 用量时，显示每次尝试的用量

终止标准

如果 dsh 推出第一方 bench harness，或者云端 benchmark 增加本地任务隐私模式、让这套东西变得多余，就冻结在最后一个可用版本，并在这里附上复盘。

开发

npm install && npm test # unit tests use a mock agent — no model cost