经验学习运行时 Stone520ha/dsh-learning

dsh-learning

dsh-learning 是一个符合 DeepSeek Harness（DSH）插件规范的学习运行时插件。

它的目标不是再造一个 Agent Loop，而是把已经完成的任务轨迹转化为“经过验证、可以复用、可以回滚”的执行经验。插件不修改 DSH core，通过官方事件与能力接口接入 Session、Tool、Skill、Feedback 和 Session Query。

它解决什么问题

普通 Agent 往往只在当前 Session 内变聪明：失败、反思、改正，然后会话结束，经验也基本一起消失。

dsh-learning 建立下面这个闭环：

真实任务 ↓ 轨迹采集 ↓ 结果评分 ↓ 经验蒸馏 ↓ Candidate ↓ 相似任务检索 ↓ Control / Treatment A-B ↓ Trace Replay + 后续真实表现 ↓ 晋升 / 拒绝 ↓ DSH Runtime Skill ↓ 持续监控 ↓ 退化则自动回滚

已实现能力

- 基于真实 turn/end 结算任务，而不是把中间停止点误认为任务完成。
- 捕获最终 tools/result，构建受限、可持久化的工具证据轨迹。
- 针对代码、调研、分析等任务做不同的结果评分。
- 从成功任务学习有效策略，也从失败任务学习 anti-pattern。
- 对相似经验自动去重与合并。
- 在后续相似任务前检索并注入相关经验。
- 默认一次只实验一个 Candidate，减少因果归因污染。
- 用真实 Control/Treatment 后续表现进行在线评估。
- 用历史轨迹做 trace replay 作为额外晋升门槛。
- 达标后注册到 DSH ctx.skills，成为 runtime skill。
- 持续监控已晋升经验，效果下降时自动回滚。
- 支持 /feedback 类命令反馈对历史 Episode 重新评分。
- 支持 DSH Message Feedback sidecar 的点赞/点踩、修改和删除后的重新计算。
- 支持 ctx.sessionQuery 导入历史 Session（可选）。
- 默认对常见 Token、API Key、Bearer、密码、私钥等信息脱敏。
- Store 使用临时文件 + 原子 rename；损坏 Store 会隔离保存。

安装

dsh plugin --profile <你的profile> add ./dsh-learning-1.0.0.tgz

检查配置：

dsh --profile <你的profile> --dump-config

一个重要原则

学习到的 Skill 是“工作方法”，不是“事实来源”。

例如系统可以学到：

做市场调研时：先找候选对象 → 官方来源验证 → 社交热度验证 → 交叉核验 → 最终证据审计

但它不能因为过去某次调研说“品牌 A 销量最高”，就把这句话当成未来任务中的事实证据。

默认数据文件

~/.dsh/learning/experience-store.json

开发检查

npm run check

会执行 TypeScript 类型检查、构建、dist JavaScript 语法检查以及完整测试。

更多实现细节见 ARCHITECTURE.md，安全说明见 SECURITY.md。