Jev 批量判断 RaulLazaro/dsh-jev-plugin

dsh-jev-plugin

向 Jev（一个 System One 决策模型）提出带类型的问题，从 DeepSeek Harness 获取带有概率的结构化答案。

Jev 返回的是判断，而非散文：每个问题都会针对同一段文本并行评估，因此一个携带 50 个问题的请求与携带 1 个问题的请求成本大致相同，耗时也大致相同。
这使得它非常适合编码智能体必须在许多条目上重复做出的判断——日志行、工具输出、失败的测试、搜索结果、候选文件、审查评论——而无需将它们全部拉入模型的上下文，也无需启动子智能体来读取它们。

在与 harness 目前所做的两件事进行对比测量时，在相同任务和相同数据上：在准确率相同的情况下，比模型快 13 倍、便宜 13.6 倍，并且比子智能体快 105 倍、便宜约 120 倍（子智能体中位数：9 个请求，48 秒，$0.035）。
只要标准是机械性的，它就会输给 grep，所以不要用它来做那类事。完整证据——包括那些经过测量后被否决的用例——见 docs/MEASUREMENTS.md。
本插件刻意拒绝做的事情，以及每次拒绝背后的测量依据，见 docs/DECISIONS.md。

它注册了什么

| 界面 | 作用 |
| jev 工具 | 发送 state + questions，返回带类型的答案、概率和置信度。 |
| 设置 → 插件 → Jev | 每用户的服务商选择、模型覆盖、自定义端点、API 密钥，以及一个 测试连接 按钮。 |

安装

该包自带自己的 bundle 补丁，因此安装它只需一条命令。
dsh plugin 会转发给 pnpm，所以本地路径、git 规格和注册表名称
都可以使用：

dsh plugin --profile web add /path/to/dsh-jev-plugin # 本地检出
dsh plugin --profile web add github:RaulLazaro/dsh-jev-plugin # 直接从 GitHub
dsh plugin --profile web add dsh-jev-plugin # 发布后从注册表安装

这会添加依赖，将 dsh-jev-plugin 追加到该 profile 的 bundle 列表中，并从 cordis.patch.yml 组合出该行。无需启动任何东西即可确认组合结果：

dsh --profile web --dump-config | grep -A4 'dsh-jev-plugin'
- id: jev
name: dsh-jev-plugin
config:
enabled: true
provider: typesafe

然后重启 harness 以挂载它——正在运行的进程不会拾取新的 bundle 行。其他什么都不需要：API 密钥是在 UI 中输入，而不是在组合配置中。

要再次移除它：dsh plugin --profile web remove dsh-jev-plugin。

配置

打开 设置 → 插件 → Jev。

1. 服务商 —— Jev 由哪里提供服务（见下文）。
2. 模型覆盖 —— 可选；留空表示使用服务商的默认值。
3. Base URL —— 仅用于 Custom 服务商。
4. API 密钥 —— 存储在 DSH 凭据存储中，绝不存储在 settings.yaml。该字段显示某个键是否已配置。
5. 测试连接 — 执行一次真实的往返请求，并报告解析后的提供商、模型、延迟、输入 token 以及答案。

提供商

| 提供商 | 端点 | 默认模型 | 凭据 / 环境变量回退 |
| TypeSafe（直连） | https://api.typesafe.ai/v1/systemone | jev-latest | TYPESAFE_API_KEY |
| Vercel AI Gateway | https://ai-gateway.vercel.sh/typesafe/v1/systemone | typesafe-ai/jev | AI_GATEWAY_API_KEY |
| 自定义 | 你自己的 URL | jev-latest | JEV_API_KEY |

每个提供商都有自己的密钥，因此切换提供商会切换所使用的凭据。如果你已经导出了匹配的环境变量，则无需保存密钥。

评估不通过 OpenAI 或 Anthropic 兼容端点提供。 上述两个提供商都暴露一个 TypeSafe 兼容的 POST …/v1/systemone；自定义端点必须实现相同的契约。

使用该工具

{
"state": "### ITEM 1\nTypeError: x is undefined\n\n### ITEM 2\nAll 42 tests passed in 1.2s",
"questions": {
"item1_failed": { "type": "noul", "instructions": "Does ITEM 1 report a failure?" },
"item2_failed": { "type": "noul", "instructions": "Does ITEM 2 report a failure?" },
"worst": {
"type": "choice",
"instructions": "Which item is the failure?",
"criteria": { "item1": "a code exception", "item2": "a passing run" }
}
}
}

| 问题类型 | 答案 |
| noul | noul — 是的概率，0–1 |
| choice | choice、probabilities、confidence |
| score | score（有序评分标准，可能落在档位之间）、probabilities、confidence |

提出原子性问题。 用稳定的标签（### ITEM 7）引用每一项，并对每一项提一个问题；针对整个文档的问题会招致猜测。指令和标准用英文书写；状态可以是任何语言。

阅读概率，而不只是选择结果。 分布平坦意味着它在猜测；noul 上大约 0.4 到 0.6 之间的 confidence 携带的信息很少。在根据 confidence 对某个操作设门控之前，先针对你自己的负载测量它——它是从分布中推导出的统计量，而非保证。

何时不要使用它

- 写作、摘要、翻译或重新格式化文本——它无法生成内容。
- 精确的字符串或算术工作——它不是正则表达式引擎或计算器。
- 任何需要扩展的多步推理的任务——改为分解为原子性问题，并在代码中组合答案。

配置参考

jev 设置命名空间接受：

| 字段 | 默认值 | 含义 |
| enabled | true | 注册 jev 工具。 |
| provider | typesafe | typesafe、vercel-gateway 或 custom。 |
| model | （提供商默认值） | 模型 id 覆盖。 |
| baseUrl | — | custom 提供商所必需。 |
| timeoutMs | 60000 | 每次尝试的请求截止时间。 |
| maxStateChars | 40000 | 拒绝过大的 state，并在消息中指明限制。 |
| maxQuestions | 200 | 拒绝过大的问题映射。 |
| dataDir | /dsh-jev | 判定账本所在位置。 |
| dailyCallLimit | 500 | 每个本地日的判定次数；0 禁用上限。 |
| dailyTokenLimit | 5000000 | 每个本地日的输入 token 数；0 禁用上限。 |

Provider、model 和 limit 字段也可以直接在 ~/.dsh/settings.yaml 中设置；但 API key 按设计不能这样设置。

花费，以及其背后的账本

一次 Jev 调用并非免费，而且如果没有记录，它就是不可见的。根据真实流量实测：单次判定消耗 11,377 个输入 token，而一个回合可能呈现 27 个超大结果。输入按每百万 token $0.042 计费，输出免费，因此累计输入 token 就是成本。

每次调用——包括失败的调用——都会追加到 dataDir 下的 JSONL 账本中， Settings 卡片会显示本地当天的累计总量：

Today · 42 judgments · 318,904 input tokens · $0.0134

每次请求前，有两个上限会读取该账本。它们之所以存在，是因为计量功能的故障模式不是报错，而是意外：

- dailyCallLimit（默认 500）
- dailyTokenLimit（默认 5,000,000 输入 token）

超过任一上限都会在产生任何花费之前拒绝调用，并在消息中指明已达到的数字以及需要提高的设置。上限为 0 表示无上限。
账本从不会阻止判定：如果其目录无法准备，它会在该次运行中降级为仅内存模式，而不是让调用失败。

这里没有任何内容基于概率设定阈值。Jev 的数值经测量是未校准的——按置信区间划分的准确率为 33% / 25% / 67% / 57%，其中包括两个置信度为 0.85 和 0.96 的错误答案——因此它们可以安全地用于排序，但不能与固定数字进行比较。关于这排除了哪些做法，请参见 docs/DECISIONS.md。

运维说明

- 上游在负载下会返回 429（“上游提供商当前正经历高需求”）。插件会以 1s → 25s 的退避进行重试，并遵循 Retry-After；预计偶尔会出现较慢的调用，不要将重试视为失败。
- 被拒绝的凭据（401/403）会报告为指向 Settings → Jev 的提示，而不是原始状态码。
- Settings 桥接为同源，且仅限回环地址。

验证其是否正常工作

重启后，按顺序执行：

1. 卡片已出现。 Settings → Plugins → Jev 应出现，并带有 key set / no key 徽章。
2. 密钥可往返验证。 选择 provider，粘贴密钥，Save key，然后 Test connection。你会得到解析后的 provider、model、延迟、输入 token，以及来自真实请求的几个答案。
3. 工具已注册。 让会话对某个小对象调用 jev，例如：

{
"state": "### ITEM 1\nTypeError: x is undefined\n\n### ITEM 2\nAll 42 tests passed",
"questions": {
"item1_failed": { "type": "noul", "instructions": "ITEM 1 是否报告了失败？" },
"worst": { "type": "choice", "instructions": "哪一项失败了？",
"criteria": { "item1": "一个异常", "item2": "一次通过的运行" } }
}
}

预期：item1_failed: 0.9x (yes)、item2 接近 0.0x，以及 worst: item1。
4. 配置错误会给出有用的失败信息。 切换到 Custom 并留空 base URL：该工具必须给出指明 Settings → Jev 的消息，而不是原始的状态码。
5. 桥接保持关闭。 从另一台机器执行 curl -X POST http://your-host:3080/api/dsh-jev-settings/describe 必须返回 403 loopback requests only。

开发

npm test # node --test

该测试套件覆盖端点解析、问题校验消息、答案格式化、键优先级和重试策略，以及该工具自身的接线：即它在每次调用时都通过惰性访问器读取凭据服务，而不是在注册时一次性捕获它。lib/index.js 除 @deepseek-ai/schemastery 外不导入任何内容，后者与 @deepseek-ai/cordis 一起声明为 peer dependency —— 两者均由宿主提供。

许可证

MIT。