dsh-benchmark 怎么安装？

在已安装 dsh CLI 引擎的环境中，进入插件页复制安装命令一键执行即可；基本兼容但装前注意：未发布到 npm registry，仅可从源码安装

dsh-benchmark 兼容性怎么样？

基本兼容但装前注意：未发布到 npm registry，仅可从源码安装

dsh-benchmark 有中文文档吗？

已提供中文翻译 README（由 DeepSeek 最新模型翻译生成），本站可切换中英文对照阅读。

dsh-benchmark 还在维护吗？

GitHub 3 星。最近一次上游提交在 2026/10/5。

确定性基准证据 dongsheng123132/dsh-benchmark

DeepSeek Harness

dongsheng12313229 天前有提交已提供中文文档扫描：含敏感能力

在 GitHub 查看 ↗

面向 DeepSeek Harness 工具和插件的、可复现的确定性基准证据协议。

32.2/100

综合分

GitHub 星标

—

npm 周下载

—/5

用户评分

数据截至 2026/10/6 · 周下载取自 npm 全网（含 CI / 镜像），非本站安装数；综合分由星标、活跃度与兼容性检查合成。

自动兼容检查有告警：未发布到 npm registry，仅可从源码安装。

安装命令 · 需先装 dsh CLI 引擎

dsh plugin --profile web add dongsheng123132/dsh-benchmark

该包不可直接 npm 安装，改从 GitHub 源安装（明细见下方安装检查）

状态速览

判定依据：实装验证 · 静态安装检查 · 自动扫描 · 仓库维护状态

信任档位：已验证

是什么

dsh 原生插件 · dev

装得上吗

本站已在 dsh 0.2.1-rc.5 下真实安装成功

非静态推断

L5 · 运行时冒烟等级说明 →

安全吗

本站尚未对该插件做风险分级

暂未覆盖，不等同于无风险

还在维护吗

活跃：最近一次提交在 29 天前

档位由哪些信号合成

本站实装验证（真实安装 L4 覆盖全站；L5 为运行时冒烟或实机截图，覆盖范围小于 L4） · 验证所用 dsh 版本 · 静态安装检查 · 风险分级 · 仓库维护状态。下方各区块是它的证据明细。

验证判据与等级说明 →

社区实装还没有人打卡 · 装过的第一个就是你

安装兼容性检查⚠ 装前注意

未发布到 npm registry，仅可从源码安装

展开查看检查明细 ↓

以下结论由程序自动检查 npm 包、engines 声明与入口文件得出，未做人工实机验证——能装不等于用着没问题。

✗npm 包dsh-benchmark（未发布到 npm，仅可源码安装）

✓Node 引擎要求 >=22 · 基线 Node 22.19 满足

✓dsh CLI 依赖未声明 dsh 版本约束

✓入口文件main/exports/bin 已声明

验证方式：npm registry 存在性 + package.json 静态校验 · 最后检查 2026/10/21 17:42:57

安全扫描自动 · 静态分析源码

v2.7.0

🔵 扫描：含敏感能力尚无人工评估

展开查看扫描说明与证据 ↓

静态扫描发现插件具备触达本地系统的能力：执行外部命令、读写/删除本地文件、读取剪贴板或密钥类环境变量（至少其一）。这是能力清单，不是危险判定——具体能力项与证据见下方，安装前请自行判断是否需要。

可执行外部命令读写/删除本地文件

查看扫描证据（共 14 处，展示前 9 条）

读取本地文件
lib/benchmark.mjs:68
return realpath(resolve(value ?? process.cwd()))
读取本地文件
lib/benchmark.mjs:74
const actual = await realpath(candidate)
读取本地文件
lib/benchmark.mjs:76
const stat = await lstat(actual)
读取本地文件
lib/benchmark.mjs:236
const bytes = await readFile(actual)
读取本地文件
lib/benchmark.mjs:253
const bytes = await readFile(actual)
读取本地文件
lib/benchmark.mjs:264
if (!EXECUTABLE_HASHES.has(executable)) EXECUTABLE_HASHES.set(executable, readFile(executable).then(sha256))
执行外部命令来自配置/变量
lib/benchmark.mjs:333
const child = spawn(runtime.executable, entry.argv, {
写入本地文件
lib/benchmark.mjs:449
await mkdir(candidate)
写入本地文件
lib/benchmark.mjs:467
await writeFile(target, content, { encoding: 'utf8', flag: 'wx' })

扫描于 2026/11/2（1 天前） · 范围入口闭包 + 发布文件清单 · 来源 GitHub 仓库

静态扫描只反映源码中出现的调用，不构成安全背书；人工评估与自动扫描相互独立、互不覆盖。

依赖的 DSH / Cordis 模块

@deepseek-ai/dsh-tools

给这个插件打分还没有人投票↓

用户评分

还没有人投票，来当第一个

广告精选好物

飞利浦 TAH6519 主动降噪耳机 ¥299

头戴式无线 anc 主动降噪，蓝牙连接，久戴舒适向。

·anc 主动降噪 · 头戴式无线
·价格与库存以商品页实时为准

去淘宝看看→

广告MCP 兼容手册

装完插件，给 AI 接上 MCP

Cursor、Claude Code、VS Code 逐个核对：能不能装、配置怎么写、装不上是什么原因。

·按客户端逐格核对
·结论标注依据与风险等级

查 MCP 兼容性→

功能亮点

锁定版本基准测试
可复现回归证据

为 DeepSeek Harness 提供锁定版本、可复现的基准测试与回归证据

README

由 DeepSeek 最新模型翻译生成

dsh-benchmark 面向 DeepSeek Harness 工具和插件的、可复现的确定性基准证据协议。本项目不会复制已有的 dsh-batch-regression：后者侧重把一条 shell 命令重复 N 次并统计中位数/分布；dsh-benchmark 固定的是完整证据链——显式 target/suite revision、由文件重算的目标指纹、固定 cases、argv-only 受限子进程、逐次原始测量、带版本的判分规则、内容寻址报告以及基线回归比较。首版只评价命令和 JSONL runner 的确定性行为，不直接评价 LLM 主观质量。 0.2.0 同时是正式 Codex 插件和独立的 proof-only MCP server，并采用真实 DSH Web Loader 所要求的命名空间导出形态；仓库内有真实 Cordis 启动回归，防止加载契约再次漂移。外部相邻方案多在评估 Skill 或 LLM 质量；本项目坚持做确定性执行证据层：固定目标 revision 和 cases，保留有界原始测量但不保留业务原文，使用版本化判分器、内容寻址报告与基线回归判决。

展开完整文档（README 剩余 1 节）

dsh-benchmark

面向 DeepSeek Harness 工具和插件的、可复现的确定性基准证据协议。

本项目不会复制已有的 dsh-batch-regression：后者侧重把一条 shell 命令重复 N 次并统计中位数/分布；dsh-benchmark 固定的是完整证据链——显式 target/suite revision、由文件重算的目标指纹、固定 cases、argv-only 受限子进程、逐次原始测量、带版本的判分规则、内容寻址报告以及基线回归比较。

首版只评价命令和 JSONL runner 的确定性行为，不直接评价 LLM 主观质量。

0.2.0 同时是正式 Codex 插件和独立的 proof-only MCP server，并采用真实 DSH Web Loader 所要求的命名空间导出形态；仓库内有真实 Cordis 启动回归，防止加载契约再次漂移。

外部相邻方案多在评估 Skill 或 LLM 质量；本项目坚持做确定性执行证据层：固定目标 revision 和 cases，保留有界原始测量但不保留业务原文，使用版本化判分器、内容寻址报告与基线回归判决。

证据内容

manifest 明确冻结：

- 基准套件名称和 cases revision；
- 被测目标名称、声明 revision 以及用于重算指纹的文件；
- 可执行文件、受限 cwd、warmup/repeat、超时、输出上限和并发上限；
- 每个 case 的固定 argv 与可选 JSONL stdin；
- 期望退出码、stdout/stderr SHA-256、可选 JSONL 行数；
- 判分器版本、最低通过率、输出稳定性要求、最大中位延迟回归阈值。

每次 warmup 和正式测量都会留下：纳秒耗时、退出码、信号、是否超时/超输出、输出字节数和哈希、JSONL 合法性，以及每条 expectation 的判定。报告不包含原始 argv、stdin、stdout、stderr、继承环境、时间戳或主机名。

安全边界

- 强制 shell: false，不接受 shell 命令串和拼接。
- node 映射到当前绝对 process.execPath；其他可执行文件必须是工作区内的显式相对路径，不做 PATH 搜索。
- cwd、目标文件、manifest、报告和 artifactDir 都禁止路径穿越与符号链接逃逸。
- 子进程使用最小确定性环境，不继承调用方秘密。
- 超时、输出字节上限和并发上限都有清单级硬边界。
- token、Cookie、Authorization、密码、凭证和自定义秘密环境字段直接拒绝。
- 报告只存哈希和测量值，不存命令输入和输出正文。
- 只向显式 artifactDir 内容寻址、独占写入，并在落盘后回读校验 SHA-256。

只运行可信的被测程序。上述边界防止意外 shell 展开和环境泄密，但不代替针对恶意程序的操作系统沙箱。

安装到 DSH

dsh plugin --profile benchmark add github:dongsheng123132/dsh-benchmark

插件注册三个工具：

- dsh_benchmark_inspect：不执行命令，只检查协议、cases 和指纹。
- dsh_benchmark_run：运行固定 cases，生成内容寻址报告。
- dsh_benchmark_compare：按 manifest 阈值比较当前报告与基线。

MCP

.mcp.json 声明独立 stdio MCP server：

- benchmark_manifest_lint：验证内联清单，只返回标识、边界策略以及 runner/case 输入哈希。
- benchmark_report_address：重新计算报告精确 SHA-256，返回有界摘要，并拒绝原始输出与秘密形字段。

MCP 只接受有界内联 JSON，不执行命令，也不读写文件系统。真实 benchmark 执行只保留在受 workspace 限制的 DSH 工具和 CLI 表面。

命令行

dsh-benchmark inspect --root D:/project --manifest benchmark.json
dsh-benchmark run --root D:/project --manifest benchmark.json --artifact-dir artifacts
dsh-benchmark compare --root D:/project --manifest benchmark.json --baseline artifacts/baseline.json --current artifacts/current.json --artifact-dir comparisons

退出码 0 为通过；2 表示报告/比较已成功写出，但判分未通过；1 表示清单或运行错误。

完整 JSONL 示例见 examples/benchmark.example.json。

开发验证

npm test
npm run check
npm run smoke:plugin
npm run smoke:mcp
python C:/Users/ZhuanZ/.codex/skills/.system/plugin-creator/scripts/validate_plugin.py .

要求 Node.js 22+。没有安装生命周期脚本；运行依赖只有可选的 DSH tools SDK peer。

许可证

MIT