Epiphany-Leon/dsh-skill-forge

dsh-skill-forge

🌏 English Version | English

多 Agent 协作式技能锻造系统，让 Agent 从对话经验中学习，用工程手段锻造可验证、可追溯、可复用的高质量技能。

DSH Plugin
TypeScript
Cordis
License

✨ 核心特性

七层质量门锻造流水线

从对话触发到技能激活，每一步都有工程化把控。提取、生成、验证、迭代、审计、批准、激活，七道工序层层过滤，最终产出的技能不是「看起来对」，而是「实际能用」。

多 Agent 协作体系

六个专职 Agent 各司其职又彼此制衡。Extractor 负责从对话中提炼模式，Generator 负责生成技能草稿，Verifier 负责多维度验证，Refiner 负责基于反馈迭代优化，AdversarialTestGenerator 负责生成对抗性测试用例，Auditor 负责安全与重复检查。每个角色有独立的 system prompt 和评估标准，确保过程透明可控。

验证驱动的迭代优化

借鉴 SkillOpt 文本梯度下降的思想，每次锻造都附带完整的验证报告。验证不通过时，Refiner Agent 基于失败模式定位具体问题，做增量改写而非全部重写，保证质量严格不回退。最大迭代轮次可配置，默认三轮内完成收敛。

三种进化模式

技能库不会静止不动，三套进化引擎持续推动质量提升：

- 达尔文模式：单体技能爬山式进化，10 维度评估 + ratchet 严格不回退 + 人在回路。对已有技能做定向优化，低分维度重点突破，高分维度保持不变。
- 饕餮模式：多技能融合引擎，自动检测高相似度技能对，五阶段融合流程沉淀为模式库，融合失败自动回退。合并相似技能的优势，产出更全面的版本。
- 共进化模式（CoEvo）：技能与对抗性测试套件双向进化。奇数轮优化技能，偶数轮强化测试，双方互相博弈共同提升，最终产出经过高强度压力测试的技能。

Dreaming 闲时锻造引擎

系统空闲时自动运行的批量优化引擎。健康体检扫描技能库全貌，低分技能批量调用达尔文优化，相似技能自动饕餮融合，启发式生成改进建议（零 LLM 消耗）。支持手动、定时 cron、空闲检测三种触发方式，永不自动删除，所有变更严格不回退。

技能编排器

复杂任务的多技能协作引擎。任务分解支持 fast 关键词匹配和 llm 语义分解两种模式，从技能库中匹配最相关的技能组合，生成执行指导。单任务最多编排 5 个技能，相关度阈值可配置。

四层安全防御体系

生成时安全、验证时安全、入库时安全、使用时安全，四道防线覆盖技能全生命周期。默认对自动生成内容持不信任态度，危险模式匹配、重复技能检测、用户手动批准三重保险。所有进化模式默认需要人工批准，不会自动修改激活技能。

完整谱系追踪

每个技能都携带完整的家族树。来源对话 ID、锻造轮次记录、每轮验证得分、版本变更日志、使用反馈统计、衍生技能图谱，所有信息可追溯可审计。你随时知道一个技能从哪里来、经过了哪些修改、表现如何。

智能召回引擎

五维加权评分（关键词匹配 40%、验证得分 30%、使用频率 10%、新鲜度 10%、反馈得分 10%）+ Token 预算管理，替代启动时全量注册的粗放模式。奖励驱动的权重自调整从显式反馈和隐式反馈中学习，动态优化召回排序。智能注入根据每轮对话上下文动态挑选最相关的技能，在 token 预算内达到最优召回效果。

原生 DSH Web 集成

深度嵌入 DSH Web UI，右侧边栏承载锻造队列、技能库、文件浏览器、统计仪表盘与设置面板，顶栏展示锻造状态与快捷操作，Toast 通知实时推送锻造进展并支持一键批准/驳回。不需要切换工具，在对话界面内就能完成从触发到审核的全流程。

🚀 快速开始

前置条件

- DeepSeek Harness (DSH) 0.1.0-rc.5 或更高版本
- Node.js 20+
- 一个已配置的 DSH web profile

安装

Skill Forge 通过 DSH profile 的 package.json 安装为插件。

一句话安装（最简单）

直接对 DSH 说这句话，它会自动完成安装：

帮我安装 "dsh-skill-forge" 插件，从 GitHub:Epiphany-Leon/dsh-skill-forge 安装到 web profile，加到 package.json 的 dsh.profile.bundles 里，然后重启。

从 GitHub 安装（推荐）

在你的 DSH profile 目录下安装插件：

在 DSH profile 目录中（例如 ~/.dsh/profiles/web）
pnpm add dsh-skill-forge@github:Epiphany-Leon/dsh-skill-forge

然后编辑 profile 的 package.json，在 bundle 列表中启用：

{
"dsh": {
"profile": {
"bundles": [
"@deepseek-ai/dsh-base",
"@deepseek-ai/dsh-web-app",
"dsh-skill-forge"
]
}
}
}

重启 DSH，右侧边栏会出现 Skill Forge 面板。

本地开发安装

git clone https://github.com/Epiphany-Leon/dsh-skill-forge.git
cd dsh-skill-forge
pnpm install
pnpm build

链接到本地 DSH profile
cd ~/.dsh/profiles/web
pnpm add dsh-skill-forge@link:/path/to/dsh-skill-forge
然后在 package.json 的 dsh.profile.bundles 中添加 "dsh-skill-forge"

启动

启动 DSH Web
dsh web

打开浏览器访问 DSH，右侧边栏会出现 Skill Forge 面板

第一次锻造

1. 在 DSH 中进行一段对话，完成一个可复用的任务
2. 点击右侧边栏的「锻造技能」按钮，或直接使用 forge_skill 工具
3. 填写锻造理由，确认开始
4. 等待锻造流水线完成（通常 30 秒到 2 分钟）
5. 在审核弹窗中检查生成的技能，批准或驳回
6. 批准后的技能自动入库，后续对话中会被智能召回

更详细的步骤指南见 docs/quickstart.md。

⚙️ 配置说明

插件安装后可通过 DSH 设置界面调整配置，也可直接修改 profile 的 cordis.patch.yml。

| 配置项 | 类型 | 默认值 | 说明 |
|--------|------|--------|------|
| securityLevel | strict / normal / permissive / auto | normal | 安全等级，控制安全审计的严格程度 |
| autoTrigger | boolean | true | 是否启用自动触发锻造 |
| triggerThreshold | number (0.1-0.95) | 0.3 | 自动触发的置信度阈值 |
| maxIterations | number (0-10) | 3 | 锻造最大迭代轮数 |
| verificationPassThreshold | number (0.5-1.0) | 0.9 | 验证通过率阈值 |
| skillCountAlertThreshold | number (10-100) | 30 | 技能数量提醒阈值 |
| tokenBudgetRatio | number (0.05-0.3) | 0.1 | 技能注入的 token 预算占比 |
| injectionMode | all / smart | all | 技能注入模式，all 为全部注册，smart 为智能动态注入 |
| injectionTokenBudget | number | 0 | 智能注入每轮 token 预算上限（0 为自动计算） |
| injectionRelevanceThreshold | number (0-1) | 0.2 | 智能注入最低相关度阈值 |
| enableDreaming | boolean | false | 是否启用闲时锻造 |
| dreamingSchedule | string | 0 3 * * 0 | 闲时锻造的 cron 表达式 |
| customDangerousPatterns | string[] | [] | 自定义危险模式列表 |
| workspaceRoot | string | '' | 技能库存储根目录，为空则使用 DSH 第一个 workspace |

完整配置说明见 docs/configuration.md。

🏗️ 架构概览

┌──────────────────────────────────────────────────┐
│                 DSH Web UI                       │
│  右侧边栏 · 顶栏 · Toast · 设置面板 · 审核弹窗   │
└──────────┬───────────────────┬───────────────────┘
│ HTTP API          │ 事件订阅
▼                   ▼
┌─────────────────────────────────────────────────────────────────────────────┐
│                              Host 端（Cordis 插件）                          │
│                                                                             │
│  ┌──────────────┐    ┌─────────────────┐    ┌──────────────────────────┐   │
│  │ TriggerEngine│───▶│ ForgeOrchestrator│───▶│    SkillRegistry         │   │
│  │  触发引擎     │    │   编排器         │    │    技能库（版本化）       │   │
│  └──────────────┘    └────────┬────────┘    └────────────┬─────────────┘   │
│                               │                          │                 │
│             ┌─────────────────┼──────────────────┐       │                 │
│             ▼                 ▼                  ▼       ▼                 │
│     ┌─────────────┐   ┌──────────────┐   ┌──────────────┐  ┌────────────┐  │
│     │ Extractor   │   │ Generator    │   │ Verifier     │  │  Auditor   │  │
│     │ 提取 Agent   │   │ 生成 Agent   │   │ 验证 Agent    │  │  审计器    │  │
│     └─────────────┘   └──────┬───────┘   └──────┬───────┘  └────────────┘  │
│                               │                  │                          │
│                               ▼                  │                          │
│                        ┌──────────────┐          │                          │
│                        │ Refiner      │──────────┘                          │
│                        │ 迭代 Agent    │  验证反馈 → 增量改写               │
│                        └──────────────┘                                     │
│                                                                             │
│  ┌─────────────────┐     ┌──────────────────┐                               │
│  │ InjectionEngine │     │ SecurityAuditor  │                               │
│  │ 智能注入引擎     │     │  安全审计器       │                               │
│  └─────────────────┘     └──────────────────┘                               │
└─────────────────────────────────────────────────────────────────────────────┘

锻造流水线

对话事件 → [触发] → [提取] → [生成] → [验证] ──通过──▶ [审计] → [批准] → 入库激活
│                ▲
└──失败──▶[迭代]──┘

项目结构

dsh-skill-forge/
├── src/
│   ├── index.ts              # Host 入口（Cordis 插件主文件）
│   ├── types.ts              # 全局类型定义
│   ├── global.d.ts           # 全局类型声明
│   ├── prompts/              # Agent System Prompts
│   ├── services/             # Host 服务层（12 个模块）
│   │   ├── BaseService.ts    # 服务基类
│   │   ├── ForgeOrchestrator.ts   # 核心编排器
│   │   ├── TriggerEngine.ts       # 增量式触发引擎
│   │   ├── SkillRegistry.ts       # 技能库管理（版本化）
│   │   ├── InjectionEngine.ts     # 智能注入引擎
│   │   ├── SecurityAuditor.ts     # 安全审计
│   │   ├── SkillForgeService.ts   # 对外服务 + HTTP 路由
│   │   ├── DarwinOptimizer.ts     # 达尔文模式（爬山进化）
│   │   ├── TaotieFusion.ts        # 饕餮模式（技能融合）
│   │   ├── CoEvoOrchestrator.ts   # CoEvo 共进化模式
│   │   ├── DreamingEngine.ts      # Dreaming 闲时锻造
│   │   └── SkillOrchestrator.ts   # 技能编排器
│   ├── agents/               # LLM Agent（6 个角色）
│   │   ├── BaseAgent.ts
│   │   ├── ExtractorAgent.ts
│   │   ├── GeneratorAgent.ts
│   │   ├── VerifierAgent.ts
│   │   ├── RefinerAgent.ts
│   │   └── AdversarialTestGenerator.ts
│   └── client/               # 浏览器端 React 组件（15+ 组件）
│       ├── index.tsx         # Client 入口
│       ├── components/       # UI 组件
│       ├── api.ts            # API 客户端
│       ├── toast-store.ts    # Toast 状态管理
│       └── style-inject.ts   # CSS 注入
├── docs/                     # 文档
│   ├── quickstart.md         # 快速上手
│   ├── configuration.md      # 配置参考
│   └── faq.md                # 常见问题
├── cordis.patch.yml          # DSH 插件配置层
├── tsdown.config.ts          # 构建配置
├── CHANGELOG.md              # 变更日志
├── STATUS.md                 # 项目进度记录
├── CONTRIBUTING.md           # 贡献指南
├── package.json
└── README.zh.md / README.md

📖 使用指南

触发锻造

自动触发：开启 autoTrigger 后，系统会监听每轮对话的结束事件，自动评估是否满足锻造条件。置信度超过阈值时弹出锻造建议，用户可选择确认或忽略。

手动触发：在对话中直接告诉 Agent「把这个方法存成技能」，Agent 会调用 forge_skill 工具启动锻造流程。也可通过右侧边栏的「锻造当前对话」按钮手动触发。

批量锻造：在技能库面板选择「闲时锻造」，系统会在配置的时间段（默认每周日凌晨 3 点）扫描历史对话，批量提取可锻造的模式。

审核技能

锻造完成后进入待审核状态，审核弹窗会展示：

- 技能 frontmatter（名称、描述、适用场景、标签等）
- 技能正文预览
- 验证报告（各维度得分、失败用例、改进建议）
- 安全审计结果（危险模式警告、重复检测）
- 来源对话摘要

确认无误后点击批准，技能进入激活状态并立即生效。驳回时可选择预设原因或填写自定义理由，系统会将驳回原因记录到锻造历史中。

管理技能库

技能库面板支持：

- 搜索、按分类筛选、按状态筛选
- 按质量分、使用次数、新鲜度排序
- 查看技能详情与版本历史
- 回滚到历史版本
- 归档/复活、删除
- 手动编辑技能内容
- 基于已有技能重新锻造（reforge）

智能召回

将 injectionMode 设为 smart 即启用智能注入模式。系统会在每轮对话开始前，基于用户最新消息计算所有激活技能的相关度评分，按 token 预算从高到低依次注入，直到预算用尽。

评分维度与权重：

| 维度 | 权重 | 说明 |
|------|------|------|
| 关键词匹配 | 40% | 技能内容与用户消息的词汇重合度 |
| 验证得分 | 30% | 最近一次验证的综合得分 |
| 使用频率 | 10% | 历史使用次数的归一化值 |
| 新鲜度 | 10% | 最近使用时间的衰减值 |
| 反馈得分 | 10% | 显式 + 隐式反馈的归一化得分 |

❓ 常见问题

完整 FAQ 见 docs/faq.md。

🗺️ 路线图

- [x] Phase 0：环境搭建与最小插件骨架
- [x] Phase 1：单角色锻造与手动确认（MVP）
- [x] Phase 2：验证循环与迭代优化（核心质量门）
- [x] Phase 3：技能库治理与智能召回
- [x] Phase 4：产品化与开源发布
- [x] Phase 5：技能进化与自我完善
- [x] 奖励驱动的技能权重自调整
- [x] 增量式经验积累触发
- [x] 技能融合（饕餮模式）— 五阶段跨技能优势融合
- [x] 单体技能爬山优化（达尔文模式）— 10 维度评估
- [x] Phase 6：多 Agent 协作深化
- [x] 共进化验证（CoEvo 模式）— 技能 vs 对抗性测试用例双循环进化
- [x] Dreaming 闲时锻造 — 批量优化 + 自动融合 + 健康体检
- [x] 技能编排 — 多技能任务分解、匹配与执行指导生成

🤝 贡献指南

欢迎贡献代码、文档或反馈。

1. Fork 本仓库
2. 创建特性分支（git checkout -b feature/amazing-feature）
3. 提交更改（git commit -m 'Add some amazing feature'）
4. 推送到分支（git push origin feature/amazing-feature）
5. 开启 Pull Request

开发环境

克隆仓库
git clone https://github.com/Epiphany-Leon/dsh-skill-forge.git
cd dsh-skill-forge

安装依赖
pnpm install

构建
pnpm build

类型检查
pnpm typecheck

安装到本地 DSH profile 进行测试
dsh plugin --profile web add .

🙏 鸣谢

本项目站在巨人的肩膀上，以下项目和研究提供了重要的灵感和方法论参考。

架构与方法论

- EvoSkill — 失败驱动的技能发现框架，其三 Agent 架构、前沿选择和反馈记忆机制是锻造流水线的重要思想来源。
- CoEvoSkills — 技能生成器与代理解法器协同进化框架，Surrogate Verifier 思路启发了无监督验证模式。
- 达尔文.skill — 单体技能优化系统，其 9 维度评分体系、爬山优化循环和 git ratchet 机制被技能库治理模块借鉴。
- 饕餮.skill — 跨技能进化引擎，反向工程分析和渐进式注入的思路启发了融合进化模式。

社区参考

- dsh-forge — DSH 生态中最早的技能自锻造插件之一，验证了从对话轨迹中提炼技能的可行性。
- dsh-skill-hub — DSH GUI 技能管理插件，UI 交互模式和技能目录管理方式提供了重要参考。
- dsh-self-improved — DSH 长期记忆与自进化插件，分层记忆提取架构启发了触发与提取设计。

学术引用

- Alzubi et al. (2026). EvoSkill: Automated Skill Discovery for Multi-Agent Systems. arXiv:2603.02766
- Zhang et al. (2026). CoEvoSkills: Self-Evolving Agent Skills via Co-Evolutionary Verification. arXiv:2604.01687 (COLM 2026)
- Shani et al. (2025). SkillOpt: Automated Skill Optimization via Textual Gradient Descent. arXiv:2511.08173

注：本项目与上述项目均无官方关联，鸣谢仅表示灵感和方法论上的参考。所有引用的项目版权归其各自作者所有。

📄 License

MIT © Epiphany-Leon