可靠性护栏 MathieuPortmann/dsh-reliability-guards

dsh-reliability-guards

为 DeepSeek Harness（DSH）里的小型本地模型准备的护栏。
小型模型（在 Ollama 或类似环境上跑 7-35B）容易在命令失败后声称成功，没调用工具就说自己查过了，编造 DOI，或者把回答截断在半截。这个插件会在用户读到回答之前抓住这些情况，让模型自己改正。

维护说明： 尽力而为。Issue 可能没人回；欢迎 fork。

它做什么

一轮对话快要结束时，纯确定性的规则会把最终回答和工具实际返回的结果做对比。一旦发现问题，模型会在同一轮里收到一条纠偏提示（每轮最多 2 条，每个错误码一条），然后重写回答。到结束时仍然存在的问题，会显示在回答下方。

| 错误码 | 触发条件 |
| falseSuccess | 回答声称成功，但有工具调用失败（报错，或 shell 返回 [exit code: N]），且始终没有补救 |
| actionWithoutTool | 说「我查过了 / 我运行了……」，但这一轮里一次工具调用都没有 |
| announcedOnly | 宣布了动作（「我来查一下：」），却什么都没调用 |
| deniedCapability | 说「我无法访问……」，但请求里明明有合适的工具 |
| unverifiedDoi | 回答里的 DOI 在任何工具结果里都没出现过；harness 会先查 OpenAlex 再查 Crossref，只有 DOI 确实查不到才触发提示（网络错误永远不算编造） |
| foreignScript | 出现用户没写过的中日韩字符 |
| markupLeak | 工具调用被写成了文本（<tool_call>、<function=...>、</think>） |
| cutAnswer | 回答断在半句话，或代码块没有闭合 |
| emoji（默认关闭） | 出现用户没写过的 emoji |
| frenchSpelling（默认关闭） | 拼错的单词，用 enchant-2 离线检查 |

规则支持双语（英文和法文措辞）。

工具运行之前
- 破坏性 shell 命令（rm、mv、git reset --hard、git push --force、dd、> 覆盖已有文件、cp 覆盖已有文件……）会弹出审批卡片；用 write 覆盖已有文件也一样。新建文件从不询问。
- 往 /tmp 里做备份会被拒绝，并给出原因（这个目录在命令之间会被清空）。
- /explain 只读模式：只运行白名单里的工具（读取、搜索、提案），其余一律拒绝，包括之后才加进来的工具。输入 /explain off 退出。安装技能：cp -r skills/explain ~/.dsh/skills/（或放进你的 $DSH_HOME/skills）。

技能能扛过摘要：自动摘要把用户调用过的技能（/word 等）的说明盖掉时，会重新发送这些说明。

Web UI 会在每个有问题的回合下方显示看到了什么、模型有没有改正。界面支持英文和法文。

安装

dsh plugin --profile web add dsh-reliability-guards
or straight from GitHub:
dsh plugin --profile web add github:MathieuPortmann/dsh-reliability-guards
之后重启配置档。需要 Node ^22.19.0 || >=24 和 DSH >=0.2.0-rc.2 <0.3.0（见兼容性）。

配置

配置档 cordis.patch.yml 中的 reliability-guards 行。每项守卫都有开关： falseSuccess、actionWithoutTool、announcedOnly、deniedCapability、unverifiedDoi、 cutAnswer、foreignScript、emoji、frenchSpelling、destructiveAsk、tmpBackupDeny、 explainMode、keepInvokedSkills。

| 键 | 默认值 | 含义 |
| maxNudgesPerTurn | 2 | 每轮提醒次数 |
| doiTimeoutMs | 15000 | 每次 DOI 存在性检查的超时时间 |
| spellAllow | [] | 拼写检查额外接受的词 |
| explainAllow | [] | /explain 中额外允许的工具 |
| llmBodyTimeoutMinutes | 0 | 为慢速本地模型调高 HTTP body 超时（0 = Node 默认值，5 分钟） |

兼容性

| 组件 | 支持范围 |
| Node.js | ^22.19.0 \|\| >=24.0.0（engines.node） |
| DSH | >=0.2.0-rc.2 <0.3.0；以可选 peerDependencies 声明，涉及 @deepseek-ai/dsh-llm、@deepseek-ai/dsh-skill、@deepseek-ai/schemastery（>=3.18.0 <4.0.0）和 zod（>=4.0.0 <5.0.0），这些包由插件从运行中的 DSH 安装目录加载（也会尝试 undici，缺失则跳过） |
| 平台 | Linux（已测试）；插件本身是纯 JavaScript，不含原生扩展 |

已在 Node 22.23 上配合 DSH 0.2.0-rc.2 测试（见验证）。

权限与外部服务

插件能触及的一切，以及失败时的表现：

| 能力 | 位置 | 用途 | 失败时 |
| 文件（只读） | index.js（statSync） | 检查 > / cp / mv 的目标是否已存在，只有覆盖时才请求批准 | 视为「不存在」：不弹批准卡片 |
| 文件（写入） | 无 | 插件不写任何文件；状态保存在 DSH 会话日志里 | 不适用 |
| 网络 | lib/doi.js（fetch） | 答案中出现、但任何工具结果里都没有的 DOI，依次向 api.openalex.org、api.crossref.org 查存在性；除此之外不发送任何内容 | 网络错误或超时（doiTimeoutMs）绝不算作编造 DOI |
| 命令 | lib/spell.js（execFile） | 用 enchant-2 -d <dict> -l，答案中的词经 stdin 传入；仅在 frenchSpelling 守卫开启时执行（默认关闭）；不经过 shell，参数固定 | 程序或词典缺失、超时（5 秒）：跳过检查 |
| 动态模块加载 | index.js（importFromDsh） | 从运行插件的 DSH 安装目录加载 zod、@deepseek-ai/dsh-llm、@deepseek-ai/schemastery、@deepseek-ai/dsh-skill，以及可选的 undici（在 Node 22 上同步 require ES 模块会失败）。不下载任何内容，也不从文本求值代码（未使用 eval / new Function） | undici 可选；其余为必需，缺失时插件加载失败 |
| 进程级 HTTP 调度器 | index.js | 仅在 llmBodyTimeoutMinutes > 0 时生效（默认 0 = 不改动）：为运行缓慢的本地模型调高全局 fetch 的 body 超时 | 不适用（需主动开启） |

插件还会拦截操作：执行破坏性 shell 命令前先请求批准，拒绝把备份写入 /tmp，在 /explain 模式下拒绝白名单之外的所有工具。插件不新增自己的工具，也不代替模型执行任何命令。

验证

在一次性配置档上验证（DSH_HOME 指向临时文件夹，配置档用 dsh <name> --from-default-profile web 克隆，真实配置档始终不受影响）：

npm pack
dsh plugin --profile t add file:$PWD/dsh-reliability-guards-0.1.0.tgz # install
dsh --profile t --no-open --port 3095 # start: plugin loads, no error
dsh plugin --profile t remove dsh-reliability-guards # uninstall

npm test 运行 33 个独立测试（规则、模式、DOI 提取、拼写检查解析、保留的技能、真实模块的加载测试），除加载测试外都不需要安装 DSH；DSH 不存在时加载测试会跳过。

开发

npm test

规则见 SPEC.md。

许可证

MIT