回归评估插件aryswisnu/dsh-eval-regression

dsh-eval-regression

一个用于 DeepSeek Harness 的小型、确定性的回归评估插件。

它注册了 evaluate_golden_output，这是一个可由模型调用的工具，用于将提供的候选输出与必需片段和禁止片段进行比较。它不调用模型、不持久化数据，也不声称语义正确性。它的职责是提供可重复的通过/失败证据，而不是披着外衣的基于感觉的架构。

为什么

智能体的变更经常会回归到表面上看似可接受的答案。一个稳定的预期片段语料库为发布冒烟测试和重放记录提供了廉价、透明的信号：

- 必需片段可捕获遗漏
- 禁止片段可捕获已知的错误断言或不安全的后备方案
- 逐用例报告使失败可被审查
- 确定性评分适用于 CI 阈值

作为 DSH 插件安装

dsh plugin --profile  add github:aryswisnu/dsh-eval-regression

该包是一个 DSH bundle。其 cordis.patch.yml 会在配置文件的基座工具运行时之后自动注册该工具。

用于本地开发：

git clone https://github.com/aryswisnu/dsh-eval-regression.git
cd dsh-eval-regression
npm install
npm run build
dsh plugin --profile  add .

在 CI 中运行受版本控制的测试套件

该插件还附带一个小型 CLI。它读取一个 JSON 套件，将评估报告打印到 stdout，当每个用例都通过时退出码为 0，当任何用例失败时退出码为 1，当输入无效或用法错误时退出码为 2。

{
"suite": "release-smoke",
"cases": [
{
"id": "grounded-answer",
"actual": "The result is 42. Source: benchmark.csv",
"includes": ["42", "Source:"],
"excludes": ["I cannot verify"]
}
]
}

npx dsh-eval-regression suites/release-smoke.json
or, from this repository:
npm run evaluate -- suites/release-smoke.json

报告包含通过和失败的用例总数、一个 0..1 的分数，以及用例级别的缺失或禁止片段。这使得评估语料库成为普通的、可审查的源代码，并使未满足的预期导致 CI 任务失败。

工具示例

{
"suite": "release-smoke",
"cases": [
{
"id": "grounded-answer",
"actual": "The result is 42. Source: benchmark.csv",
"includes": ["42", "Source:"],
"excludes": ["I cannot verify"]
}
]
}

规范结果包含通过和失败的用例总数、一个 0..1 的分数，以及每个用例的缺失或禁止片段。

边界

这有意地是一个狭窄的确定性评估器。它不能替代模型质量审查、事实依据、工具执行检查或快照重放。将其用作评估框架中的一道关卡，然后在产品需要的地方添加更强的信号。

开发

npm install
npm test
npm run typecheck
npm run build

MIT 许可证。