← 返回列表
未验证
dsh-eval独立仓库
尚未跑自动兼容性验证，可查看页面内的依赖与入口分析。 · 最近上游提交 2026/8/14 · 已提供中文文档
DeepSeek Harness 的智能体评估平台：基准 YAML、无头 dsh 编排、基于轨迹的指标、LLM 评判器、配对 A/B、无密钥回放，以及跨 harness 导入。
综合分
28
GitHub 分
28
用户评分
—
★ Stars
2
周下载量
—
安装插件（需先安装 dsh CLI 引擎：npm install -g @deepseek-ai/dsh）
dsh plugin --profile web add hccccc01333/dsh-eval该插件未发布到 npm，走 GitHub 源安装（pnpm 若拦截 prepare 脚本，按其提示在 pnpm-workspace.yaml 的 allowBuilds 中放行后重跑）
数据截至 2026/9/18（元数据每日更新 · 实装验证按队列轮转，单条结论的验证时间见上方）
用户评分
还没有人投票，来当第一个
订阅周报，不错过优质插件更新
每周一封 · 高评分插件 + 新用户活动
README
dsh-eval（独立仓库） 独立开发目录：Agent Evaluation Platform 插件 dsh-eval，与 deepseek-harness 主仓的 WIP 隔离。 结构： - packages/eval/ —— 插件本体（bundle + CLI app）。 - harness/ —— 指向本地 deepseek-harness 检出的 junction/symlink；pnpm workspace 通过它解析 @deepseek-ai/* 源码包（0.1.0-rc.5）；npm 发布版则对齐 官方 0.1.0-rc.6 peer 依赖，可直接安装。 快速开始（npm 直装）： pnpm add dsh-eval dsh plugin --profile eval add dsh-eval 源码流程： git clone https://github.com/hccccc01333/dsh-eval.git cd dsh-eval New-Item -ItemType Junction -Path harness -Target D:\path\to\deepseek-harness pnpm install 当前能力（v0.2）： - dsh eval run benchmark.yaml —— benchmark 编排 + 自动指标 + 脚本化评分 （expected.tool 工具选择准确率、expected.check 任务成功）。 - LLM judge：judge 配置驱动最终答案得分与幻觉标记。 - 子 agent trace 归并：子 session 日志合并进 trial 指标。 - 配对 A/B：同 case 的 win/lose/tie 统计。 - keyless replay：有 key 录一次，CI 里从录制日志免 key 复现。 - 跨 harness 导入：dsh eval import codex|claude-code --out run.json。 - dsh eval report run.json —— markdown 报告，含评分列与聚合比率。 - dsh eval compare run-v1.json run-v2.json —— 双 run 对比表，带 B - A 差值。 常用命令（在 D:\dsh-eval 下）： pnpm install pnpm --filter dsh-eval test pnpm --filter dsh-eval run typecheck pnpm --filter dsh-eval build
同作者（hccccc01333）的其他插件
扫码进群