轨迹消融调试器Ardig24/dsh-trajectory-ablation

dsh-trajectory-ablation

一个调试器，用于找出 agent 失败的实际原因，而不是靠猜测。

这是一个 DeepSeek Harness 插件，它能精确重建你的 agent 在给定步骤之前所看到的内容，将其与另一步骤进行 diff，并且——最重要的是——通过移除某段上下文并真实地重放同一个模型调用来证明究竟是哪段上下文实际导致了某个决策。

完整的设计理由见 trajectory-ablation.md。

为什么

当 agent 做错事时，大多数工具会给你看一份对话记录让你猜，或者让 agent 自我解释——而这不过是同一个模型在对自己过去的决策编造一个听起来合理的故事，并非经过验证的事实。本插件用可核查的东西取代了这两种做法：

1. 重建（Reconstruct）——模型在某一步之前所看到的全部内容的精确、完整列表，按来源分组。不调用模型，只是读取日志。
2. Diff——两个步骤之间发生了什么变化：新增、移除、压缩或重排。不调用模型。
3. 消融（Ablate）——一次移除一段上下文，并真实地重放模型调用，每段执行 k 次。如果移除某段内容改变了决策，那它就是原因。如果没有改变，那它就是无关的旁观上下文。
4. 交互筛查（Interaction screen）——针对单块消融无法发现的情况：两块内容各自单独都无影响，但共同导致了该决策。测试每一对是二次复杂度的，因此这里改为随机采样若干子集，当某个子集翻转了决策时，再通过增量调试（delta-debugging）缩小到最小的责任组。它不会找出所有这类配对，但成本保持线性而非二次。

安装

在你的 DeepSeek Harness profile（$DSH_HOME/cordis.patch.yml）中挂载它：

- insert:
- id: trajectory-ablation
name: 'dsh-trajectory-ablation'

然后在你的 profile 目录中运行 pnpm install 并重启。更完整的操作说明见 cordis.patch.yml.example。

用法

挂载后，任意会话中都有四个命令可用：

/context-reconstruct                            — 模型在这一步之前看到了什么？
/context-diff                   — 两个步骤之间发生了什么变化？
/ablate   [k] [maxCalls|inf]                     — 究竟是哪一块内容实际导致了这一决策？
/ablate-interactions   [trials] [maxCalls|inf]  — 当 /ablate 找不到原因时运行：它是一对内容吗？

/ablate 和 /ablate-interactions 在预计超过 50 次真实模型调用时都会拒绝运行，除非你提高 maxCalls（或传入 inf 来禁用上限）——每次调用都是真实的、计费的请求，因此成本绝不应成为意外。

或者以编程方式使用——reconstructContext 和 diffContext 只需要一个会话的事件日志（无需实时模型连接）；ablateStep 和 screenForInteractions 则需要实时的 ctx.llm：

markdown
import { reconstructContext, diffContext, ablateStep, screenForInteractions } from 'dsh-trajectory-ablation'

无需实时会话即可试用
bash
npm install
npm run demo

针对一个脚本化示例（一个过时的 README 误导 agent 编辑了错误的文件）运行完整流水线，无需 API 密钥。

开发
bash
npm install
npm run build       # 编译
npm run typecheck   # 仅类型检查
npm test            # 运行测试套件

许可证

MIT — 参见 LICENSE。