推理优化工具包 trid11111-arch/dsh-infer-kit

dsh-infer-kit

DeepSeek Harness 推理工具包——语义缓存、草稿级联、JSON 校验。

三个与模型无关的工具（DSH 路由到的任何服务商都能用）：

| 工具 | 作用 |
| infer_cache_lookup | 为答案和工具结果做语义缓存。Jaccard 相似度 ≥ 0.62 即命中。保留期：智能体 = 3 天，聊天机器人 = 7 天。 |
| infer_draft_cascade | 廉价草稿 → 昂贵校验的级联（客户端版的投机解码）。任何 OpenAI 兼容端点都能用。 |
| infer_json_validate | 在输出结构化结果之前，按 JSON Schema 校验 JSON。支持 type、properties、required、additionalProperties、items、enum、min/max、minLength/maxLength。 |

思路来自 DeepInfer（DeepSeek 开源的推理引擎，Apache 2.0，2026 年 10 月）。

安装

dsh plugin --profile web add dsh-infer-kit

然后重启 dsh web（或桌面应用）。插件在下次启动时生效。

手动安装 / 从源码安装：
dsh plugin --profile web add github:YOUR_USERNAME/dsh-infer-kit

快速开始

安装并重启后，任何模型都能使用这三个工具：

语义缓存

{
"mode": "lookup",
"key_text": "What is the capital of France?",
"kind": "chatbot"
}
{
"mode": "store",
"key_text": "What is the capital of France?",
"value": "Paris is the capital of France.",
"kind": "chatbot",
"tags": ["geography", "quick-facts"]
}

草稿级联

{
"task": "List all files in the project root",
"context": "TypeScript monorepo with packages/api, packages/web, packages/shared",
"accept": true
}
从配置好的廉价模型返回一份草稿（通常 100–600 token）；你负责校验并定稿。草稿端点不可用时，回退到全质量的自完成——不报错。

在配置档的 cordis.patch.yml 里配置草稿端点：

config:
draftEndpoint: 'https://inference.dahl.global/v1/chat/completions'
draftModel: 'deepseek-ai/DeepSeek-V4-Flash-0731'
draftTimeoutMs: 90000

API key 从 DAHO_API_KEY 凭据读取（在 Settings → Models 里设置，和其他服务商 key 一样）。每次调用草稿都会重新解析——轮换的 key 会自动生效。

JSON 校验

{
"json": "",
"schema": {
"type": "object",
"required": ["id", "name"],
"properties": {
"id": { "type": "integer" },
"name": { "type": "string", "minLength": 1 }
}
}
}

返回 ok: true，或一组具体错误，供你在输出结果前修正。

配置

所有配置都放在 cordis.patch.yml 的 config: 下：

| 键 | 默认值 | 说明 |
| storePath | index.js 旁边的 store.json | 持久化缓存文件的路径 |
| maxEntries | 512 | 缓存条目上限；溢出时淘汰最旧的条目 |
| similarityThreshold | 0.62 | 缓存命中的 Jaccard 阈值（0–1） |
| ttlAgentDays | 3 | kind=agent 条目的 TTL（天） |
| ttlChatDays | 7 | kind=chatbot 条目的 TTL（天） |
| draftEndpoint | null | 兼容 OpenAI 的草稿端点 URL |
| draftModel | null | 传给草稿端点的模型名 |
| draftMaxTokens | 600 | 草稿调用的 max_tokens |
| draftTimeoutMs | 25000 | 每次草稿调用的超时（毫秒） |

架构

DSH process (host half) Web GUI (client half)
───────────────────────── ─────────────────────
index.js client.js
├── inject: ['credentials'] ├── inject: ['slots']
├── inject: ['tools'] └── registers ⚡ InferKit
├── inject: ['webServer'] button in sidebar footer
│ └── GET /infer-kit/status
└── ctx.effect() cleanup

- 宿主侧（index.js）：只用 Node.js 内置模块（node:fs、node:path、node:crypto、fetch）。不导入 @deepseek-ai/* —— 已按此约定验证。
- 客户端侧（client.js）：React 状态按钮，无需构建步骤。
- 存储由 Web 和桌面两种配置档共用（storePath 相同）。

实测结果

草稿级联针对 inference.dahl.global 测试，模型为 deepseek-ai/DeepSeek-V4-Flash-0731：

| 轮次 | 草稿长度 | 延迟 | 备注 |
| 1 | 94 tokens | 2139 ms | 首次调用 |
| 2 | 157 tokens | 4627 ms | 经历一次 429 重试后成功 |
| 3 | 146 tokens | 1369 ms | 使用凭据解析器 |

环境要求

- DSH >= 0.2.0-rc.2
- Node.js 内置 fetch（DSH 的 Node 运行时已提供）
- 无外部运行时依赖

权限

- 读写一个 JSON 存储文件（路径可配置，默认在插件旁边）
- 只向配置的草稿端点发起 HTTP 调用
- 无遥测，除可选的草稿端点外不访问任何外部服务

许可证

MIT