← 返回列表
未验证
让多个模型匿名同台跑同一任务,先盲评再揭晓赢家
尚未跑自动兼容性验证,可查看页面内的依赖与入口分析。 · 最近上游提交 2026/8/19 · 已提供中文文档
一个盲审、公平、本地的 DSH Web 竞技场:相同任务、隔离的工作树、共享验证、先评判后揭晓。
综合分
27.1
GitHub 分
27.1
用户评分
—
★ Stars
0
周下载量
—
安装插件(需先安装 dsh CLI 引擎:npm install -g @deepseek-ai/dsh)
dsh plugin --profile web add changer-changer/dsh-blind-arena该插件未发布到 npm,走 GitHub 源安装(pnpm 若拦截 prepare 脚本,按其提示在 pnpm-workspace.yaml 的 allowBuilds 中放行后重跑)
信任档位:仅索引本站尚未对其实装验证,仅收录元数据
- 是什么
- dsh 原生插件 · chat
- 装得上吗
- 本站尚未做安装检查
- 安全吗
- 本站尚未对该插件做风险分级(暂未覆盖,不等同于无风险)
- 还在维护吗
- 更新放缓:最近一次提交在 37 天前
档位由下列信号合成:本站实装验证(真实安装,当前最高到 L4)· 验证所用 dsh 版本 · 静态安装检查 · 风险分级 · 仓库维护状态。下方各区块是它的证据明细。 验证判据与等级说明 →
数据截至 2026/9/16(元数据每日更新 · 实装验证按队列轮转,单条结论的验证时间见上方)
依赖的 DSH / Cordis 模块
@deepseek-ai/cordis@deepseek-ai/dsh-agent@deepseek-ai/dsh-client-runtime@deepseek-ai/dsh-llm@deepseek-ai/dsh-session@deepseek-ai/dsh-typert-protocol用户评分
还没有人投票,来当第一个
订阅周报,不错过优质插件更新
每周一封 · 高评分插件 + 新用户活动
README
由 DeepSeek 最新模型翻译生成DSH Arena DSH Web 里的盲测、公平、全本地 Agent 竞技场。 同一任务。同一 commit。隔离 worktree。共享验证。先评判,再揭晓。 DSH Arena 把你的 DeepSeek Harness (DSH) Web 变成一个模型对战擂台:选一个任务,挑 2–4 位参赛者(DSH 支持的任何 provider/model),让它们在完全相同的仓库状态下同场竞技。揭晓之前,所有赛道身份严格保密——没有标签偏见、没有提示词泄漏、没有挑选过的基线。 为什么做这个 基准测试会撒谎,排行榜都是精心编排的。评估 Agent 时,光是知道你在看哪个模型这件事,就会污染下游的一切:你的提示词、你的耐心、你的判断。 DSH Arena 从结构上消除这种偏见: - 单一仓库状态 — 每条赛道从同一个 commit 出发,各有独立 git worktree。没有漂移,没有过期 fork。 - 随机赛道分配 — 创建时参赛者被随机洗牌到 A/B/C/D 赛道。宿主知道,协议不知道。 - 无身份协议 — 公开的实验记录里不包含任何参赛者身份。身份存在服务端 secrets.json,只有你调用 reveal 之后才合并进视图。 - 共享验证 — 你自定义的同一条 verify 命令在相同环境里对每条赛道运行。 - 盲评 — 只凭行为选赢家(测试、diff、最终回答、token/时间成本)。然后揭晓,看真正的赢家是谁。 功能 - 🏟 2–4 赛道同场竞技,实时进度流(工具调用、回合、token) - 🔒 类型层面强制匿名契约 — 线上类型 ArenaExperiment 根本没有身份字段;redactExperiment 在服务前剥掉一切 - ✅ 共享验证 — 用户自定义命令,每条赛道的退出码 / 超时 / 耗时,竞速视图实时可见 - 🏁 盲评 → 揭晓 完整流程,含每条赛道的 diff 与最终回答 - 📤 离线导出 — 自包含 HTML 报告 + 原始 JSON + 每条赛道的 unified patch,全程无网络 - 🌿 赢家分支 — 把胜者 worktree 提升为 arena// 分支(仅真实赛道) - 🎬 零成本演示模式 — 确定性脚本赛道(focused / verbose / broken / timeout)跑通完整流水线:worktree → 改动 → 验证 → diff → 评审 → 揭晓。不需要 API key,不花一分钱 - 🧹 清理 — 从 UI 一键清理过期 worktree 与实验状态 - 🖥 完整客户端 UI 注入 DSH Web:创建 / 列表 / 实时竞速 / 评审 / 揭晓 快速开始 1. 把插件装进你的 DSH Web profile(Cordis bundle,见 cordis.patch.yml): npm install dsh-blind-arena 2. 打开 DSH Web → Arena 插件行出现。 3. 创建实验:指向本地仓库,写任务,加验证命令,挑参赛者。 4. 看竞速直播。盲评。揭晓。导出报告。 没有凭据?先跑演示模式——脚本赛道走完整个产品闭环,零成本评估流程,再决定要不要花 token。 架构 DSH Web client (React, injected) Host plugin (Cordis service arena) ┌───────────────────────────┐ ┌──────────────────────────────────────┐ │ CreateView / ListView │ /api RPC │ ArenaService (Typert remotes) │ │ RaceView / ReviewView │◄───────────►│ preflight · create · cancel · │ │ RevealView │ (redacted │ verdict · reveal · diff · export · │ └───────────────────────────┘ until │ createWinnerBranch · cleanup │ reveal) │ │ │ │ ▼ │ │ ArenaEngine │ │ preflight → worktrees → lanes → │ │ verify → diff → persisted record │ └──────────────────────────────────────┘ - src/engine.ts — 编排:preflight → worktrees → lanes → 验证 → diff → 持久化;实现匿名契约 - src/runner.ts — 基于 @deepseek-ai/dsh-agent 的单赛道 Agent 生命周期(session、模型选择、consumed-work 折叠) - src/verify.ts — 共享验证执行器 - src/git.ts — worktree / diff / 分支原语 - src/store.ts — ~/.dsh/arena// 下的持久化存储:公开 experiment.json + 服务端独有 secrets.json - src/export.ts — 离线 HTML 报告 + JSON + 赢家分支 - src/demo.ts — 确定性演示赛道(零 API 成本) - src/client/ — 注入 DSH Web 的 React UI 存储: ~/.dsh/arena/。一切都在本地;除了你自己的浏览器,没有任何东西离开你的机器。 环境要求 - Node ^22.19.0 || >=24.0.0 - DSH(DeepSeek Harness)及 Web client runtime - @deepseek-ai/dsh-agent、@deepseek-ai/dsh-llm、@deepseek-ai/dsh-session(0.1.0-rc.7) License MIT