🎁 福利专区全网大模型免费应用 + 新用户福利 + 注册活动入口,低成本玩转 AI

SWE-bench 对比评测 suyoumo/deepseekharnesseval

DeepSeek Harness
suyoumo77 天前有提交已提供中文文档扫描:无法判定

对比 dsh 与 OpenCode 在 SWE-bench 上的通过率

30.4/100
综合分
5
GitHub 星标
—
npm 周下载
—/5
用户评分

数据截至 2026/9/19 · 周下载取自 npm 全网(含 CI / 镜像),非本站安装数;综合分由星标、活跃度与兼容性检查合成。

自动兼容检查未通过:仓库根目录及浅层子目录均无 dsh 插件清单,无法用 dsh 插件安装命令安装。以下命令仍可尝试,但可能失败。
无法用 dsh 插件命令安装(仓库内无 dsh 插件清单)
git clone https://github.com/suyoumo/deepseekharnesseval.git
按该仓库 README 的原生方式安装;若作者另行发布了 DSH 插件包,请以其文档为准

状态速览

判定依据:实装验证 · 静态安装检查 · 自动扫描 · 仓库维护状态
信任档位:需留意
是什么
dsh 原生插件 · market
装得上吗
实装验证未通过(unknown),装前请到仓库确认最近更新与 issue
L4 · 真实安装等级说明 →
安全吗
本站尚未对该插件做风险分级
暂未覆盖,不等同于无风险
还在维护吗
更新放缓:最近一次提交在 77 天前
档位由哪些信号合成

本站实装验证(真实安装 L4 覆盖全站;L5 为运行时冒烟或实机截图,覆盖范围小于 L4) · 验证所用 dsh 版本 · 静态安装检查 · 风险分级 · 仓库维护状态。 下方各区块是它的证据明细。

验证判据与等级说明 →
⚠︎ 实装验证未通过(unknown · 2026/11/2) ——可能是验证环境差异,装前建议到 GitHub 仓库确认最近更新与 issue。
社区实装还没有人打卡 · 装过的第一个就是你
安装兼容性检查需源码安装

仓库根目录及浅层子目录均无 dsh 插件清单,无法用 dsh 插件安装命令安装

展开查看检查明细 ↓

以下结论由程序自动检查 npm 包、engines 声明与入口文件得出,未做人工实机验证——能装不等于用着没问题。

✗npm 包deepseekharnesseval(未发布到 npm,仅可源码安装)
✓Node 引擎未声明 engines.node
✓dsh CLI 依赖未声明 dsh 版本约束
✗入口文件缺少入口声明

源码安装时若 pnpm 拦截 prepare 脚本,按其提示在 pnpm-workspace.yaml 的 allowBuilds 中放行后重跑。

验证方式:npm registry 存在性 + package.json 静态校验 · 最后检查 2026/10/11 22:06:52

安全扫描自动 · 静态分析源码
v2.7.0
⚪ 扫描:无法判定尚无人工评估
展开查看扫描说明与证据 ↓

已尝试扫描但取不到可分析的源码:仓库或包不存在、已删除,或为非 JS/TS 实现、未随包发布源码。无法判定,不代表安全。

  • · 包内无可扫 JS
  • · TS 源码(可能为非 JS 实现或未发布源码),无法判定
扫描于 2026/11/4(0 天前) · 范围 全包扫描(包内未声明入口) · 来源 GitHub 仓库

静态扫描只反映源码中出现的调用,不构成安全背书;人工评估与自动扫描相互独立、互不覆盖。

给这个插件打分还没有人投票↓
用户评分
还没有人投票,来当第一个

README

由 DeepSeek 最新模型翻译生成
SWE-bench Pro 151 · DeepSeek Harness 对比 OpenCode 最终评测报告 - 基准: swebench-pro 151 (zh release v30 aligned),151 题 × 6 仓库 - 模型: DeepSeek V4 Flash(dsh 侧 deepseek-v4-flash#effort=max;opencode 侧 compass/deepseek-v4-flash) - 更新时间: 2026-08-18 结论 1. dsh 对比 opencode:极限分更高,稳定性弱一点。 3try 口径下 dsh 的 pass^1 为 117(77.5%)高于 opencode 的 114(75.5%),pass^2 同样领先(109 vs 105);但三次全过的 pass^3 落后(83 vs 96),单次成绩波动也更大(96-111 vs 103-107)——上限更高、方差更大。 2. dsh 的其他模式(preset)没有明显提升。 各 preset 单轮成绩收敛在 109-114,差距小于同配置重跑的自然波动,增强版本的作用暂无统计证据。 一、deepseekharness 3try vs opencode 3try 两个 agent 各跑 151 × 3 = 453 个 attempt。
展开完整文档(README 剩余 1 节)
SWE-bench Pro 151 · DeepSeek Harness 对比 OpenCode 最终评测报告

- 基准: swebench-pro 151 (zh release v30 aligned),151 题 × 6 仓库
- 模型: DeepSeek V4 Flash(dsh 侧 deepseek-v4-flash#effort=max;opencode 侧 compass/deepseek-v4-flash)
- 更新时间: 2026-08-18

结论

1. dsh 对比 opencode:极限分更高,稳定性弱一点。 3try 口径下 dsh 的 pass^1 为 117(77.5%)高于 opencode 的 114(75.5%),pass^2 同样领先(109 vs 105);但三次全过的 pass^3 落后(83 vs 96),单次成绩波动也更大(96-111 vs 103-107)——上限更高、方差更大。
2. dsh 的其他模式(preset)没有明显提升。 各 preset 单轮成绩收敛在 109-114,差距小于同配置重跑的自然波动,增强版本的作用暂无统计证据。

一、deepseekharness 3try vs opencode 3try

两个 agent 各跑 151 × 3 = 453 个 attempt。opencode 为官方 task image 审计后终判(315 harness-ok / 138 模型失败);dsh 的三次为第 1 轮(102)、第 2 轮(96)、std 最新轮(111)。

| 口径 | dsh 3try | opencode 3try |
| attempt 1 | 102 (67.5%) | 105 (69.5%) |
| attempt 2 | 96 (63.6%) | 107 (70.9%) |
| attempt 3 | 111 (73.5%) | 103 (68.2%) |
| pass^1(≥1 次通过) | 117 (77.5%) | 114 (75.5%) |
| pass^2(≥2 次通过) | 109 (72.2%) | 105 (69.5%) |
| pass^3(3 次全过) | 83 (55.0%) | 96 (63.6%) |
| 单 attempt 平均 | 309/453 (68.2%) | 315/453 (69.5%) |

结论:pass^1 口径 dsh 以 117 vs 114 领先 3 题,pass^2 也领先(109 vs 105);三次全过的稳定性(pass^3)opencode 更好;单 attempt 平均两者基本持平(68.2% vs 69.5%)。

分仓库 pass^1 对比(互补性明显)

| repo | dsh | opencode | 差异解读 |
| ansible | 30/33 | 31/33 | 基本持平 |
| flipt | 23/45 | 15/45 | dsh 大幅领先(Go 项目) |
| navidrome | 5/5 | 2/5 | dsh 全过 |
| openlibrary | 27/35 | 34/35 | opencode 大幅领先 |
| qutebrowser | 8/9 | 9/9 | opencode 全过 |
| vuls | 24/24 | 23/24 | 基本持平 |

两个 agent 的长短板几乎完全互补:dsh 强在 flipt/navidrome,opencode 强在 openlibrary/qutebrowser。

二、deepseekharness 各 preset(版本)成绩

单 try 成绩:

| preset | solved | 通过率 | ansible | flipt | navidrome | openlibrary | qutebrowser | vuls |
| anchored(锚定标准) | 114 | 75.5% | 29/33 | 22/45 | 5/5 | 27/35 | 7/9 | 24/24 |
| router(路由) | 114 | 75.5% | 29/33 | 22/45 | 5/5 | 27/35 | 7/9 | 24/24 |
| std(默认标准) | 111 | 73.5% | 29/33 | 19/45 | 5/5 | 27/35 | 7/9 | 24/24 |
| jspace(J-Space 认知套件) | 109 | 72.2% | 28/33 | 19/45 | 5/5 | 26/35 | 7/9 | 24/24 |
| 参考 | minimal(极简) | 109 | 72.2% | — | — | — | — | — | — |
| 参考 | code(run_code+SDK) | 104 | 68.9% | — | — | — | — | — | — |

结论:
- 四个 preset 成绩收敛在 109-114(72-76%),差距(2-5 题)小于同配置重跑的自然波动(同配置两轮相差 6 题 / 4.0pp),题级翻转率(preset 间 9/151 不一致)也与纯随机翻转(同配置两轮 10/151 不一致)几乎一样——当前单轮数据不能区分各 preset 的真实差异,增强版本的作用暂无统计证据,可能是跑分误差
- anchored/router 比 std 多出的 3 题全部来自 flipt,且两者只有 2 题重合,更像临界题的随机翻转而非同一机制的稳定增益
- jspace(109)与 minimal(109)持平,认知套件层零增益

三、耗时与 Token 消耗

3try 耗时对比(453 attempts)

| 指标 | dsh(新第 3 轮,std) | opencode(453 次全量) |
| 总耗时 | 36.3 小时(151 题) | 65.2 小时(453 次) |
| 单次均值 | 14.4 分钟 | 8.6 分钟 |
| 中位数 | 12.3 分钟 | 7.4 分钟 |
| p90 | 30.0 分钟 | 14-16 分钟 |
| 三轮一致性 | —(仅第 3 轮有记录) | 8.4-8.8 分钟,极稳 |

dsh 的第 1/2 轮无耗时记录;第 3 轮口径为最终合并批次。opencode 单题比 dsh 快约 40%(8.6 vs 14.4 分钟),且分布更紧凑(p90 16 分 vs 30 分)。

单题 Token 消耗对比 opencode 的 token 从其 command.log 的 step-finish 用量事件聚合(429/453 个日志,覆盖 94.7%;run_summary 中的 token 字段损坏,未采用):

| 指标(单题均值) | dsh std | opencode |
| 输入 token | 47.4k | 149.4k(约 3 倍) |
| 输出 token | 18.5k | 10.6k |
| 缓存读取 | (未汇总) | 1,375k |
| 输入中位 / p90 | — | 123.4k / 292.7k |

opencode 453 次总量:输入 64.10M、输出 4.53M、缓存读取 589.9M;三轮输入均值 147-152k,高度一致。两者策略差异明显:dsh 用约 1/3 的输入 token 换取近 2 倍的输出 token(更长的一次性生成),opencode 输入重、单步输出短——快但费上下文。

dsh 各 preset 耗时与 Token(单轮 151 题)

| preset | 总耗时 | 单题均值 | 中位 | p90 | 输入 token/题 | 输出 token/题 | 总输入 | 总输出 |
| std | 36.3h | 14.4m | 12.3m | 30.0m | 47.4k | 18.5k | 7.16M | 2.80M |
| anchored | 41.5h | 16.5m | 13.9m | 30.1m | 44.1k | 17.5k | 6.66M | 2.65M |
| router | 37.3h | 14.8m | 10.9m | 30.1m | 43.7k | 17.3k | 6.60M | 2.61M |
| jspace | 41.5h | 16.5m | 13.5m | 30.1m | 38.8k | 28.8k | 5.86M | 4.35M |

- jspace 输出 token 比其他 preset 高 60%(28.8k vs 17-18k)而输入最低——认知套件让模型"想得久、写得多",但成绩持平(109),单位 token 产出性价比最低
- router 中位耗时最短(10.9 分钟)
- 解出题与整体的耗时几乎相同(std:14.2 vs 14.4 分钟)——过不过不取决于跑多久,取决于方向

dsh 分仓库耗时与 Token(std 第 3 轮)

| repo | 题数 | 耗时均值 | p90 | 输入/题 | 输出/题 |
| ansible | 33 | 6.1m | 8.7m | 37k | 18k |
| flipt | 45 | 18.2m | 28.6m | 50k | 21k |
| navidrome | 5 | 7.2m | 8.7m | 58k | 19k |
| openlibrary | 35 | 12.2m | 15.7m | 50k | 20k |
| qutebrowser | 9 | 9.4m | 30.1m | 33k | 14k |
| vuls | 24 | 25.5m | 30.0m | 56k | 15k |

vuls 最慢(25.5 分钟均值)、flipt 次之——恰是 pass 率分化的两个仓库;ansible 最快(6.1 分钟)。单题 token 消耗 33k-58k。

四、口径说明

- 3try(第一节):同一配置跑 3 次,pass^k = 至少通过 k 次的题数;评的是能力上限与稳定性
- 1-try(第二节):每题只跑一次;评的是真实生产表现
- opencode 的判定协议为官方 task image 内 run_script.sh + parser.py
预览分享卡片长什么样 ↓suyoumo/deepseekharnesseval
分享 · DeepSeek Harness Hub
suyoumo/deepseekharnesseval

对比 dsh 与 OpenCode 在 SWE-bench 上的通过率

这是你的仓库?认领条目

回到顶部