VanadisGithub/dsh-skill-evolution

dsh-skill-evolution

CI
License: MIT

DeepSeek Harness（DSH）的技能自进化插件：观察 agent 执行轨迹，在每个成功回合结束时按信号触发 LLM 评审，把值得复用的工作流结晶为技能并注册进技能目录；后续同类执行还会把新经验合并进已有技能——技能是活的，越用越好。

特性亮点

- 事件驱动结晶：回合结束即评审，而非纯频率统计；三信号（复杂 / 恢复 / 重复）任一触发即送审
- 严格的评审门禁：LLM 评审 + 硬性负面清单，垃圾经验绝不入库；NOTHING_TO_SAVE 是一等结果
- 技能持续进化：同类新经验自动合并进已有技能（版本递增），语义去重（FOLD_INTO）拦截经由不同工具序列的近重复
- 全套设置页管理：技能/设置双 tab、总开关、技能卡片（价值/版本/调用次数标签）、参数流程图内嵌调参、评审提示词就地编辑
- 持久化与自治：技能落盘 generated/、重启自动重注册；宿主半零第三方依赖（仅 node: 内建模块）

截图

技能 tab——技能卡片带价值（高/中/低）、版本、调用次数与更新时间标签，展开查看结晶信号、工具序列与完整 SKILL.md：

Skills tab

设置 tab——状态一览、评审模型、生成语言与各配置面板：

Settings tab

阈值与控制——参数直接嵌在流程图里，在哪一步起作用就在哪一步改：

Tuning pipeline with embedded controls

工作原理

信号检测

每个回合结束（turn/end）时，对满足最小步数的成功轨迹检测三个信号：

| 信号 | 条件 | 含义 |
|---|---|---|
| complex | 成功回合且工具调用 ≥ minToolCalls（默认 5） | 完成了一件复杂任务 |
| recovered | 有失败步骤但回合最终成功 | 踩坑后找到了可行的绕行路径 |
| repeated | 同一工具序列出现 ≥ minPatternOccurrences 次且成功率 ≥ minSuccessRate | 同一套操作反复出现且成熟可靠 |

佐证闸门（complexRequiresCorroboration，默认开）：单独的 complex 是弱证据（任何长回合都满足），默认必须叠加 recovered 或 repeated 才送评审；被拦下的回合记一条 withheld 日志，等序列后续出现佐证信号时再补送。

评审门禁

评审 LLM 收到完整证据（信号、用户意图、工具序列、每步成败与摘要）与已有进化技能清单，输出三种结论之一：SAVE（结晶新技能）、FOLD_INTO（并入已有技能）、NOTHING_TO_SAVE（放弃）。

硬性负面清单——以下内容绝不结晶：

- 环境性失败（缺二进制、未配置凭证、未装包）
- 对工具的负面断言（"X 工具坏了"会固化成长期拒绝）
- 重试即愈的瞬时错误（教训是重试模式，不是原错误）
- 一次性任务叙事、未解决的失败

持续进化

- 渐进改进：新证据落在已有技能的序列上（尤其是错误恢复经验）时，评审把新教训合并进技能正文并版本 +1，而不是新建重复技能
- 语义去重（FOLD_INTO）：同一类经验可能经由不同的工具序列再次出现——纯序列匹配拦不住。结晶评审会看到已有技能清单（名字+描述），判定同属一个工作流类别时输出 VERDICT: FOLD_INTO: ，宿主随即走改进管道并入该技能

产出格式

类级命名的 kebab-case 技能，标准 SKILL.md 结构（# Title / ## When to Use / ## Procedure / ## Pitfalls / ## Verification）。NAME 与章节标题恒为英文，正文语言由 skillLanguage 决定。

安装

方式一：官方 CLI（发布到 npm 后）

dsh plugin --profile web add dsh-skill-evolution

包内 dsh.bundle.patch 会自动挂载，无需手改 profile 文件。

方式二：git clone + link

git clone https://github.com/VanadisGithub/dsh-skill-evolution.git ~/Code/dsh-skill-evolution

在 ~/.dsh/profiles/web/package.json 的 dependencies 中加入：

"dsh-skill-evolution": "link:/Users//Code/dsh-skill-evolution"

然后在 ~/.dsh/profiles/web 执行 pnpm install，硬刷新浏览器。

方式三：file:// 手动挂载（原型调试）

把仓库放到任意目录（如 ~/.dsh/plugins/skill-evolution/），在 ~/.dsh/cordis.patch.yml 追加：

- insert:
- id: 'skill-evolution'
name: file:///Users//.dsh/plugins/skill-evolution/plugin.mjs?v=1
config:
minToolCalls: 5
minPatternOccurrences: 3
autoRegister: true
llmProvider: deepseek      # 按你的部署可用的 provider 修改
llmModel: deepseek-chat

?v=N 用于绕过 Node 模块缓存；改了 plugin.mjs 就 +1。宿主半改动需 loader 重放补丁，浏览器半改动硬刷新即可。

⚠️ 三种方式只能选一种，重复挂载会导致双实例。

配置

下表所有键都既走挂载配置，也可在设置面板里直接修改（面板改动持久化到插件目录 runtime-config.json，优先于挂载配置，重启后仍生效）：

| 键 | 默认 | 说明 |
|---|---|---|
| enabled | true | 总开关：false 时不观察回合、不评审结晶（已有技能保持注册） |
| minTraceSteps | 3 | 轨迹最小步数（噪音地板） |
| minToolCalls | 5 | complex 信号阈值 |
| minPatternOccurrences | 3 | repeated 信号阈值 |
| minSuccessRate | 0.7 | repeated 信号成功率下限 |
| signals | 全开 | {complex, recovered, repeated} 分别开关 |
| complexRequiresCorroboration | true | 单独 complex 信号需叠加佐证才送评审 |
| autoRegister | true | 结晶后自动注册进技能目录 |
| llmProvider / llmModel | deepseek / deepseek-chat | 评审模型（provider 级联该 provider 的模型目录） |
| skillLanguage | en | 生成技能的语言：zh / en |
| maxEvolvedSkills | 20 | 进化技能容量上限 |
| improvementEvery | 3 | 每 N 次同序列重跑触发一次改进评审 |
| maxImprovementsPerSkill | 5 | 单个技能最大改进次数 |
| maxEvidenceSteps | 30 | 送审证据最大步数（截断保护） |
| maxTracesPerSession | 200 | 每会话轨迹缓存上限（内存保护） |
| maxStepTextLength | 200 | 每步摘要截断长度 |
| reviewSystemPrompt | 内建 | 结晶评审 system prompt 覆盖 |
| improveSystemPrompt | 内建 | 改进评审 system prompt 覆盖 |

管理面板

设置页「技能进化」分区（设置 → 技能进化），双 tab 布局，右上角总开关随时停用/启用：

- 技能 tab：技能卡片列表——名称、描述、价值标签（高/中/低，按结晶次数与改进次数评估）、版本、调用次数（skill 工具调用 + 用户显式触发注入）、更新时间；展开看结晶信号、工具序列与完整 SKILL.md；删除/清空均两步确认
- 设置 tab：状态一览、评审模型（provider 级联选择）、生成语言，以及四个配置面板：
- 阈值与控制：把全部阈值画成一条流水线（回合结束 → 观察过滤 → 信号检测 → 佐证闸门 → LLM 评审 → 结晶入库 → 持续改进），每个参数嵌在它起作用的那一步里，所见即所调
- 评审提示词：结晶/改进两段 system prompt 就地编辑（草稿-保存工作流），可随时重置回内建版本
- 实时模式统计：观察到的工具序列模式与触发计数
- 危险操作：清空全部进化技能（两步确认）

数据与隐私

- 轨迹证据只存在于内存（有界缓存），不落盘
- 落盘的只有结晶产物（generated/*.json：SKILL.md 正文、信号、序列、统计）与 runtime-config.json
- 评审 LLM 调用走部署内已配置的 provider，不引入外部端点
- 卸载插件即删除全部数据（generated/ 随目录移除）

组成与开发

双面插件包（host + web client）：

| 文件 | 角色 |
|---|---|
| plugin.mjs | 宿主半：轨迹观察、信号检测、LLM 评审、技能注册、./generated/ 持久化、/skill-evolution 认证 RPC 通道（list / get / remove / clear / listModels / setModel / setLanguage / setEnabled / setTuning / setPrompt …） |
| client.js | 浏览器半：设置页「技能进化」分区 |
| cordis.patch.yml | dsh.bundle.patch 挂载层 |
| test/smoke.mjs | 宿主半冒烟测试（mock cordis context，51 断言覆盖结晶/改进/FOLD_INTO/去重/RPC/计数） |
| test/screenshot.mjs | 无头截图脚本（CDP 驱动，全屏模式） |

node --check plugin.mjs && node --check client.js   # 语法
node test/smoke.mjs                                  # 冒烟测试
node test/screenshot.mjs                   # 重截 README 截图

仅依赖 node: 内建模块，不引入任何 @deepseek-ai 包，避免与宿主 cordis 双实例冲突。

License

MIT