🎁 福利专区全网大模型免费应用 + 新用户福利 + 注册活动入口,低成本玩转 AI

进化测试台 HuangShengZeBlueSky/dsh-harness-evolution

DeepSeek Harness
HuangShengZeBlueSky7 天前有提交已提供中文文档扫描:无法判定

对比多种方法在五个智能体基准上的进化成绩与产物

52/100
综合分
63
GitHub 星标
—
npm 周下载
—/5
用户评分

数据截至 2026/10/30 · 周下载取自 npm 全网(含 CI / 镜像),非本站安装数;综合分由星标、活跃度与兼容性检查合成。

自动兼容检查未通过:缺少 main/exports/bin 入口声明;仓库 package.json 标记 private,未发布到 npm,需从源码安装。以下命令仍可尝试,但可能失败。
安装命令 · 需先装 dsh CLI 引擎
dsh plugin --profile web add HuangShengZeBlueSky/dsh-harness-evolution
该包不可直接 npm 安装,改从 GitHub 源安装(明细见下方安装检查)

状态速览

判定依据:实装验证 · 静态安装检查 · 自动扫描 · 仓库维护状态
信任档位:需留意
是什么
dsh 原生插件 · vision
装得上吗
作者未把包发布到 npm,只能用源码安装
插件本身没问题,是分发方式不同
L4 · 真实安装等级说明 →
安全吗
本站尚未对该插件做风险分级
暂未覆盖,不等同于无风险
还在维护吗
活跃:最近一次提交在 7 天前
档位由哪些信号合成

本站实装验证(真实安装 L4 覆盖全站;L5 为运行时冒烟或实机截图,覆盖范围小于 L4) · 验证所用 dsh 版本 · 静态安装检查 · 风险分级 · 仓库维护状态。 下方各区块是它的证据明细。

验证判据与等级说明 →
社区实装还没有人打卡 · 装过的第一个就是你
安装兼容性检查需源码安装

缺少 main/exports/bin 入口声明;仓库 package.json 标记 private,未发布到 npm,需从源码安装

展开查看检查明细 ↓

以下结论由程序自动检查 npm 包、engines 声明与入口文件得出,未做人工实机验证——能装不等于用着没问题。

✗npm 包dsh-harness-evolution(未发布到 npm,仅可源码安装)
✓Node 引擎要求 >=22.19.0 · 基线 Node 22.19 满足
✓dsh CLI 依赖未声明 dsh 版本约束
✗入口文件缺少入口声明

源码安装时若 pnpm 拦截 prepare 脚本,按其提示在 pnpm-workspace.yaml 的 allowBuilds 中放行后重跑。

验证方式:npm registry 存在性 + package.json 静态校验 · 最后检查 2026/10/30 09:04:35

安全扫描自动 · 静态分析源码
v2.7.0
⚪ 扫描:无法判定尚无人工评估
展开查看扫描说明与证据 ↓

已尝试扫描但取不到可分析的源码:仓库或包不存在、已删除,或为非 JS/TS 实现、未随包发布源码。无法判定,不代表安全。

  • · 包内无可扫 JS
  • · TS 源码(可能为非 JS 实现或未发布源码),无法判定
扫描于 2026/11/2(1 天前) · 范围 全包扫描(包内未声明入口) · 来源 GitHub 仓库

静态扫描只反映源码中出现的调用,不构成安全背书;人工评估与自动扫描相互独立、互不覆盖。

依赖的 DSH / Cordis 模块
@deepseek-ai/cordis@deepseek-ai/cordis-plugin-timer@deepseek-ai/cosmokit@deepseek-ai/dsh-agent@deepseek-ai/dsh-agent-loop@deepseek-ai/dsh-attachment@deepseek-ai/dsh-brand@deepseek-ai/dsh-commands@deepseek-ai/dsh-compaction@deepseek-ai/dsh-compaction-image-offload@deepseek-ai/dsh-invariants@deepseek-ai/dsh-llm
给这个插件打分还没有人投票↓
用户评分
还没有人投票,来当第一个

为五个智能体基准演化出的 DSH 插件框架,带版本化产物、演化曲线和 Life-Harness 对比。

README

由 DeepSeek 最新模型翻译生成
DSH Harness Evolution 五个场景,多种方法对照,可直接查看的插件产物。 基于 DSH 的 harness 进化,固定 Qwen3-4B 做题模型。每个产物包含插件源码、运行接口、Mermaid 框图、真实进化曲线和测试配置。 完整榜单 · 进化曲线 · 方法概览 · 下载全部产物 多方法成绩总览 榜单包含裸模型、ALIGN、AgentSquare、Meta-Harness、AHE、Life-Harness 和我们。我们的主列展示最佳已测晋升点,可能来自回溯补测;训练最终版另列。其他方法使用论文报告值;缺失的场景留空。 最新发布 · 2026-10-27 | 场景 | 产物 / 成功率 | 发布依据 | 直接查看 | | WebShop | v12 · 47.00% | 回溯补测 | 方法流程 · Harness框图 · 曲线 | | DBBench | v32 · 70.33% | 回溯补测 | 方法流程 · Harness框图 · 曲线 | | OSBench | v08 · 38.66% | 回溯补测 | 方法流程 · Harness框图 · 曲线 | Telecom:历史水位与当前产物 Telecom 新旧版本对照 相对 v1/v2 的报告值,我们的成功率高 26.67 个百分点,三次全成功率高 32.50 个百分点。
展开完整文档(README 剩余 1 节)
DSH Harness Evolution

五个场景,多种方法对照,可直接查看的插件产物。

基于 DSH 的 harness 进化,固定 Qwen3-4B 做题模型。每个产物包含插件源码、运行接口、Mermaid 框图、真实进化曲线和测试配置。

完整榜单 · 进化曲线 · 方法概览 · 下载全部产物

多方法成绩总览

榜单包含裸模型、ALIGN、AgentSquare、Meta-Harness、AHE、Life-Harness 和我们。我们的主列展示最佳已测晋升点,可能来自回溯补测;训练最终版另列。其他方法使用论文报告值;缺失的场景留空。

最新发布 · 2026-10-27

| 场景 | 产物 / 成功率 | 发布依据 | 直接查看 |
| WebShop | v12 · 47.00% | 回溯补测 | 方法流程 · Harness框图 · 曲线 |
| DBBench | v32 · 70.33% | 回溯补测 | 方法流程 · Harness框图 · 曲线 |
| OSBench | v08 · 38.66% | 回溯补测 | 方法流程 · Harness框图 · 曲线 |

Telecom:历史水位与当前产物

Telecom 新旧版本对照

相对 v1/v2 的报告值,我们的成功率高 26.67 个百分点,三次全成功率高 32.50 个百分点。新版 v3 仍并列展示;这是跨报告的数值差,不是同协议因果增益。

来源:v1 表 7、v2 表 8、v3 表 10。均取 Qwen3-4B 行,不混入 18 模型均值。旧新版论文均使用 DeepSeek-V4-Flash 用户模型;我们使用 GLM-5.3-Flash,另有账户事实与额外复核接口,不能直接归因于 loop。

选择 Harness 产物

| 场景与成绩 | 解决的问题 | 检查点 | 直接查看 |
| ALFWorld · 95.41% | 家务任务流程与可见状态指导 | v18 · 训练最终版 | 源码 · 框图 · 曲线 |
| DBBench · 70.56% | 数据库结构与取值对齐、SQL 执行和结果提交 | v35 · 训练最终版 | 源码 · 框图 · 曲线 |
| WebShop · 47.00% | 商品检索、规格选择、价格核验与购买 | v12 · 回溯补测 | 源码 · 框图 · 曲线 |
| OSBench · 38.89% | 文件检查、命令语义、全局统计与重复恢复 | v17 · 训练最终版 | 源码 · 框图 · 曲线 |
| τ²-Telecom · 84.17% | 客户线路身份、设备诊断、账单与账户复核 | v06 · 训练最终版 | 源码 · 框图 · 曲线 |

WebShop 按严格成功率排序,平均奖励单独展示。插件注册数量不代表独立证明有效的机制数量。

方法概览

先维护当前 Agent 的能力和插件职责,再从训练失败中找问题类,提出插件改动,通过实际评测决定采用。允许插件协作,也允许删除重复或有副作用的指导。这里只公开方法概览和产物,不展开尚未公开的论文细节。

flowchart LR
A[训练失败] --> B[当前能力与插件职责]
B --> C[问题类与插件机制]
C --> D[开发集评测]
D -->|采用或修订| B
D -->|预算结束| E[冻结检查点]
E --> F[最终测试并发布]

后续如何更新

新 harness+测试数据+进化曲线 → 发布新版本 → 自动更新中英文榜单。

使用 tools/publish.py 添加产物;推送后 GitHub Actions 自动生成中英文首页总览、榜单和产物页,旧版本保留。提供新的产物和实测数据即可更新,不需要公开内部实验日志。发布说明 · 运行说明

如何理解比较

论文采用的优化模型、六轮预算和测试重复次数与我们不同;ALIGN 使用自身发布划分;Telecom 还存在用户模拟器、账户事实接口与额外复核调用的差异。主榜是来源明确的数值对照,不把所有结果包装成严格同协议排名。原始测试成绩沿用已完成实验,本次发布不代表重新跑完评测。

MIT 许可证 · 致谢与第三方声明
预览分享卡片长什么样 ↓HuangShengZeBlueSky/dsh-harness-evolution
分享 · DeepSeek Harness Hub
HuangShengZeBlueSky/dsh-harness-evolution

对比多种方法在五个智能体基准上的进化成绩与产物

回到顶部