🎁 福利专区全网大模型免费应用 + 新用户福利 + 注册活动入口,低成本玩转 AI

插件进化实验室 milimithrandir/dsh-evolution-lab

DeepSeek Harnessv0.3.1
milimithrandir57 天前有提交已提供中文文档扫描:含敏感能力

用可复现实验筛选更优插件配置并公开结果

29.1/100
综合分
0
GitHub 星标
—
npm 周下载
—/5
用户评分

数据截至 2026/9/16 · 周下载取自 npm 全网(含 CI / 镜像),非本站安装数;综合分由星标、活跃度与兼容性检查合成。

自动兼容检查未通过:缺少 main/exports/bin 入口声明;要求 dsh 0.1.2-rc.1,而最新版为 0.2.1-rc.2;仓库 package.json 标记 private,未发布到 npm,需从源码安装。以下命令仍可尝试,但可能失败。
安装命令 · 需先装 dsh CLI 引擎
dsh plugin --profile web add milimithrandir/dsh-evolution-lab
该包不可直接 npm 安装,改从 GitHub 源安装(明细见下方安装检查)

状态速览

判定依据:实装验证 · 静态安装检查 · 自动扫描 · 仓库维护状态
信任档位:需留意
是什么
dsh 原生插件 · tool
装得上吗
实装验证未通过(dependency_conflict),装前请到仓库确认最近更新与 issue
安全吗
本站尚未对该插件做风险分级
暂未覆盖,不等同于无风险
还在维护吗
更新放缓:最近一次提交在 57 天前
档位由哪些信号合成

本站实装验证(真实安装 L4 覆盖全站;L5 为运行时冒烟或实机截图,覆盖范围小于 L4) · 验证所用 dsh 版本 · 静态安装检查 · 风险分级 · 仓库维护状态。 下方各区块是它的证据明细。

验证判据与等级说明 →
⚠︎ 实装验证未通过(dependency_conflict · 2026/9/25) ——可能是验证环境差异,装前建议到 GitHub 仓库确认最近更新与 issue。
社区实装还没有人打卡 · 装过的第一个就是你
安装兼容性检查需源码安装

缺少 main/exports/bin 入口声明;要求 dsh 0.1.2-rc.1,而最新版为 0.2.1-rc.2;仓库 package.json 标记 private,未发布到 npm,需从源码安装

展开查看检查明细 ↓

以下结论由程序自动检查 npm 包、engines 声明与入口文件得出,未做人工实机验证——能装不等于用着没问题。

✓npm 包dsh-evolution-lab @ 0.3.1
✓Node 引擎未声明 engines.node
✗dsh CLI 依赖要求 0.1.2-rc.1 · 最新 0.2.1-rc.2 不兼容
✗入口文件缺少入口声明

源码安装时若 pnpm 拦截 prepare 脚本,按其提示在 pnpm-workspace.yaml 的 allowBuilds 中放行后重跑。

验证方式:npm registry 存在性 + package.json 静态校验 · 最后检查 2026/10/20 06:18:54

安全扫描自动 · 静态分析源码
v2.7.0
🔵 扫描:含敏感能力尚无人工评估
展开查看扫描说明与证据 ↓

静态扫描发现插件具备触达本地系统的能力:执行外部命令、读写/删除本地文件、读取剪贴板或密钥类环境变量(至少其一)。这是能力清单,不是危险判定——具体能力项与证据见下方,安装前请自行判断是否需要。

读写/删除本地文件
查看扫描证据(共 9 处,展示前 9 条)
  • 读取本地文件
    containers/rag-corpus-loader.mjs:13
    for (const entry of (await readdir(dir,{withFileTypes:true})).sort((a,b)=>a.name.localeCompare(b.name))) {
  • 读取本地文件
    containers/rag-corpus-loader.mjs:18
    const content=await readFile(path,'utf8');
  • 写入本地文件
    containers/rag-corpus-loader.mjs:27
    await writeFile('/session/corpus-import.json',JSON.stringify(record));
  • 写入本地文件
    containers/rag-network-audit.mjs:9
    appendFileSync('/capture/network.jsonl',JSON.stringify(target)+'\n');
  • 写入本地文件
    containers/rag-preflight-driver.mjs:28
    writeFileSync('/capture/service.json',JSON.stringify({passed:true,baseId:a.id,documentId:fresh.id,lexical:true,deleted_source_absent:true,base_filter:
  • 读取本地文件
    containers/sequence-driver.mjs:50
    const prompts = JSON.parse(readFileSync(config.sequencePath, 'utf8'));
  • 读取本地文件
    plugins/concise-action/index.mjs:8
    text: readFileSync(new URL('./guidance.txt', import.meta.url), 'utf8').trim()
  • 读取本地文件
    plugins/retrieval-use-evidence/index.mjs:7
    text:readFileSync(new URL('./guidance.txt',import.meta.url),'utf8').trim()
  • 读取本地文件
    plugins/verify-first/index.mjs:8
    text: readFileSync(new URL('./guidance.txt', import.meta.url), 'utf8').trim()
扫描于 2026/11/4(0 天前) · 范围 全包扫描 · 来源 GitHub 仓库

静态扫描只反映源码中出现的调用,不构成安全背书;人工评估与自动扫描相互独立、互不覆盖。

依赖的 DSH / Cordis 模块
@deepseek-ai/dsh
给这个插件打分还没有人投票↓
用户评分
还没有人投票,来当第一个

功能亮点

  • 可复现实验筛选配置
  • 预算可控实验
  • 社区贡献公开结果

通过可复现、预算可控的实验和社区贡献,开放研究更好的 DeepSeek Harness 插件与配置。

README

由 DeepSeek 最新模型翻译生成
DSH 进化实验室 免费检查许可证:MIT 一个开放研究实验室,通过可复现的实验寻找更好的 DeepSeek Harness 配置。 从官方默认插件和最便宜的已验证 DeepSeek 文本模型开始。诊断失败,测试一个小改动,测量其准确率、成本和速度,只有在证据站得住脚时才保留它。 我希望参与 DSH 插件生态系统并为其持续演进做出贡献:有用的插件、更好的基准测试、独立复现以及诚实的负面结果。这个仓库是我的工作实验室和研究笔记,在 AI 辅助下开发。欢迎对方法论提出贡献和挑战。 当前结果:没有任何插件获得晋升。默认 DSH 仍是现任者。 这是早期研究,并非声称已构建出最智能的 harness。 我们试图发现什么? 哪种模型加 harness 的配置对于指定的工作负载、成本限制和延迟目标表现最佳?我们能否在不针对用于开发它的任务过拟合的情况下反复改进它?插件何时比更简单的配置更改更好——或者比给默认 agent 相同的额外推理预算更好? 其雄心是覆盖编码、推理、调查和会话恢复的广泛能力。目前的测量覆盖带有本地证据的小型自编测试夹具。真实仓库基准测试、实时研究和真正的多会话记忆评估仍需努力。
展开完整文档(README 剩余 1 节)
DSH 进化实验室

免费检查许可证:MIT

一个开放研究实验室,通过可复现的实验寻找更好的 DeepSeek Harness 配置。 从官方默认插件和最便宜的已验证 DeepSeek 文本模型开始。诊断失败,测试一个小改动,测量其准确率、成本和速度,只有在证据站得住脚时才保留它。

我希望参与 DSH 插件生态系统并为其持续演进做出贡献:有用的插件、更好的基准测试、独立复现以及诚实的负面结果。这个仓库是我的工作实验室和研究笔记,在 AI 辅助下开发。欢迎对方法论提出贡献和挑战。

当前结果:没有任何插件获得晋升。默认 DSH 仍是现任者。
这是早期研究,并非声称已构建出最智能的 harness。

我们试图发现什么?

哪种模型加 harness 的配置对于指定的工作负载、成本限制和延迟目标表现最佳?我们能否在不针对用于开发它的任务过拟合的情况下反复改进它?插件何时比更简单的配置更改更好——或者比给默认 agent 相同的额外推理预算更好?

其雄心是覆盖编码、推理、调查和会话恢复的广泛能力。目前的测量覆盖带有本地证据的小型自编测试夹具。真实仓库基准测试、实时研究和真正的多会话记忆评估仍需努力。

研究循环

flowchart LR
A[Shipped default] --> H[Calibrate difficulty on development tasks]
H --> B[Audit failures and costs]
B --> C[One structural or guidance change]
C --> D[Free checks and cheap screening]
D --> E[Paired development tests]
E --> F[Fresh confirmation and replication]
F --> G[Keep, replace or remove components]
G --> A

- 在扩展实验之前,要求默认准确率在一个单独的、经过审计的开发集上总体以及每个声称的领域都低于 50%。遵循基线校准门;CLI 不会强制执行它。
- 让观察到的失败驱动候选方案的开发。
- 允许添加、移除和替换。更多插件并不天然更好。
- 将结构性更改与指导性更改分开;在合并前测试交互作用。
- 保留有用的准确率/成本/速度权衡,并带有不确定性,而不是宣布一个无条件的单一赢家。在配置文件之间进行路由也需要自己的测试。
- 将 agent 的自我反馈视为需要对照轨迹进行检查的主张,而不是因为模型说了它就变成真的解释。
- 保留失败的运行和验证器的错误。在确认之前冻结候选方案。

参见实验协议、研究全景和路线图。HarnessCompass、HarnessLens 以及对 harness 演进的批评为这些问题提供了参考;本仓库并不声称复现了它们的结果。

九月的对外 MBPP/BBH/HotpotQA 测试套件还暴露了一个天花板问题:默认设置在全部 75 次编码尝试和全部 75 次推理尝试中均通过(每个领域 25 个任务重复三次)。这些结果来自一个有限的测试套件,是观察结果,而非广泛的能力判定。保留简单任务用于回归检查;未来的主评估必须先在独立的开发数据上通过难度校准。

已实现的内容

| 组件 | 状态 |
| 真实的 DSH 无头运行时、固定依赖和原生插件补丁 | 可用 |
| Docker 隔离和按量计费的仅限 DeepSeek 网关 | 可用 |
| 持久化的全局、活动、运行和请求次数限制 | 可用;基于固定价格的估算,并非账户范围的计费保证 |
| 配对随机实验和精确评分器 | 可用;验证器更正会被记录 |
| 独立的编辑清单、静态任务标记 lint 和冻结的引导适配器 | 可用;仍需进行语义审查 |
| 有界的盲测/事后反馈包和引文锚点检查 | 准备工作可用;反馈收集和因果审查尚未自动化 |
| 组合分析和保守的晋升审计 | 可用;无自动晋升 |
| 自主持续插件发明、独立留出服务、生态系统排行榜 | 未实现 |

本地候选方案为 verify-first 和 core-tools。其他分支会更改已发布的 PTC/剪枝设置或思考投入。模型设置的更改与插件收益分开报告。

初步证据——2026 年 9 月 7 日

公开的证据档案包含五个付费开发活动、84 次尝试的任务运行、逐次调用记账、报告、验证器勘误、可获取时的源快照,以及生成的工作区产物。

| 实验 | 观察结果 | 解读 |
| 12 任务诊断筛选 | 默认、关闭思考和 verify-first:12/12;PTC:11/12 | 范围狭窄、得分触及天花板的筛选;无晋升 |
| 减少工具暴露 | 首个主请求约 41KB → 19KB;26 → 6 个 schema | 更少的输入并未转化为可比的账单节省,因为缓存和输出成本也很重要 |
| 最终更正契约冒烟测试,3 个任务 | 默认:3/3;低思考和禁用思考:各 2/3 | 两种更便宜的设置都触及了修复响应限制;样本量太小,无法得出一般性结论 |

实验室还发现了自身的评分器错误:数值相等判断和未充分指定的 JSON 输出格式。原始结果仍然可用,并附有明确的勘误。
当前套件是 diagnostic-v2 和 transfer-v3。公开生成的种子划分并非秘密的、独立管理的留出集。绝不要在没有合理比较设计的情况下,将不同套件版本合并到同一个排行榜中。

运行免费检查

需要 Python 3.9+;此处不需要 API 密钥、Docker 或付费生成。

git clone https://github.com/Milbaxter/dsh-evolution-lab.git
cd dsh-evolution-lab
python3 -m unittest discover -s tests -v

运行实际的测试框架

初始主机是一台 8GB 的 Apple 芯片 Mac,使用 Colima,配置为 2 个 CPU/2GB RAM。
对于已安装 Colima 和 Docker CLI 的 macOS:

colima start --profile deepseek-lab --cpu 2 --memory 2 --disk 16 --vm-type vz --mount-type virtiofs
export DSH_LAB_DOCKER_CONTEXT=colima-deepseek-lab
docker --context "$DSH_LAB_DOCKER_CONTEXT" build -f containers/Dockerfile.agent -t deepseek-lab-agent:0.1 .
docker --context "$DSH_LAB_DOCKER_CONTEXT" build -f containers/Dockerfile.gateway -t deepseek-lab-gateway:0.1 .
docker --context "$DSH_LAB_DOCKER_CONTEXT" pull python:3.12-slim
python3 scripts/check_graders.py
python3 -m lab.run --mock --suite transfer --variants default core-tools

对于 Linux 上现有的 Docker Engine,请设置 DSH_LAB_DOCKER_CONTEXT=default,并对相同的构建命令使用该上下文。此可移植性选项已包含在内;最初的付费证据是在 Mac 上收集的,并未跨平台验证。
模拟运行会启动真实的测试框架,但返回固定响应:其任务分数不是模型性能证据。

在免费检查之后,若要进行有意的小规模付费运行:

python3 scripts/set_key.py # hidden input; stores the key outside this repo
python3 scripts/check_balance.py # free credit lookup
python3 -m lab.run --stage smoke --suite transfer --variants default verify-first --campaign-cap 0.12

当前共享响应限制:每次模型调用 16,384 个输出 token,包括推理内容。
维护者选择了此预算;早期报告使用了 4,096,并且必须保留其原始标签。

模型和资费快照:deepseek-v4-flash,检查于 2026-09-07。恢复时请核实官方定价;网关会拒绝超过七天的价格。初始累计实验室上限为 20 美元。充值绝不会重置账本,也不会悄悄提高该上限。
每个辅助请求和重试都必须通过同一个网关。

将 state/、logs/、reports/ 和凭据保留在本地。公开证据归档是经过审查的导出,并不是盲目提交未来原始会话的理由。在 Mac VM 上,当网关运行时,从 Linux 通过 lab.run.live_accounting 访问实时 SQLite 记账。
在进行任何更大规模的活动之前,请参阅协议。

加入这项工作

打开一个 issue 或一个 discussion,或者发送一个 pull request。最有用的早期贡献是:
- 带有强大且独立检查的评分器的外部任务包。
- 我们的基线和负面结果的可复现。
- 与特定观察到的失败相关联的候选方案,并附有预测成本和风险。
- 真正的重启/内存场景、匹配预算的对照组,以及更好的归因。
- 与现有 DSH 评估项目的互操作性,而不是重复的基础设施。

阅读 CONTRIBUTING.md。社区结果应说明它击败了什么、在哪些任务上、在哪些约束下,以及具有何种不确定性。目标是朝着更好的测试框架共同进步——而不是让某个偏好的插件通过设计获胜。

MIT 许可;第三方声明见 NOTICE.md。
预览分享卡片长什么样 ↓milimithrandir/dsh-evolution-lab
分享 · DeepSeek Harness Hub
milimithrandir/dsh-evolution-lab

用可复现实验筛选更优插件配置并公开结果

这是你的仓库?认领条目

回到顶部