NInfer 本地推理 averyjohnkucan-arch/dsh-ninfer

适用于 DeepSeek Harness 的 NInfer

在 DSH 内管理本地 NInfer 模型和可编辑的服务器配置档。内含随附的 Qwen3.8 27B 262k 参考配置。

在 DSH 中安装

需要 DeepSeek Harness 0.2.1-rc.2，并运行其 Web 配置档。

1. 打开 Plugins → Add plugin → GitHub。
2. 粘贴 https://github.com/averyjohnkucan-arch/dsh-ninfer。
3. 安装并启用插件。刷新浏览器；如果管理器要求，就重启 DSH。
4. 打开 Settings → Models → NInfer。

插件是可直接安装的 Cordis 包。它不会给 DSH 打补丁，不替换 DSH 的 UI，不安装第二个 DSH，也不需要编译插件。它的包使用 DSH 自带的 peer 依赖，因此安装时不会下载另一套服务商依赖栈，也不会要求运行服务商依赖的构建脚本。

模型

点 Add model，再点 Select model files。浏览宿主机的模型目录，选中多个文件，或者点 Select all model files here。切换目录时，已选内容会保留。Inspect and assign 会读取文件头，分配主模型、按顺序排列的分片、视觉投影器和 MTP。它会报告缺失的分片、混入不同主模型的文件集，以及不支持的 MTP 格式。

编辑配置档并保存。Start 会先准备好缺失的运行时/模型包，再启动服务器。运行时安装和模型准备都会显示进度，并且可以取消。已安装的引擎和已准备好的包，可以在 Runtime and imported model data 下选择。保存后，模型会出现在 DSH 的对话模型选择器里。

Edit 重新打开已保存的配置档。Remove profile 删除已保存的配置，并停止它拥有的进程；已下载的模型文件会保留。Attach running server 会显式连接一个已在运行的服务器，该服务器需对外公布配置档中的模型 ID。停止或禁用挂接只会断开连接，绝不会终止外部进程。启动设置不会应用到外部服务器。

固定版本可执行文件的帮助里列出的所有推理参数，在 All engine CLI options 下都有对应控件。留空表示使用引擎默认值；布尔项的 Omit flag 表示不传这个参数，并不代表引擎默认启用的功能一定被关闭。完整的 JSON 编辑器支持用数组表示重复参数，用 {"argv":["first","second"]} 表示多值参数。附加 argv 是数组，绝不是 shell 字符串。环境变量和完整的服务器配置也可以编辑。

更新、禁用与移除

通过 DSH 的插件管理器，分别更新每个仓库。关掉开关，就会移除它的卡片、服务商注册和工具，并停止它拥有的服务器。移除包即可卸载它的代码。已保存的配置档和运行时数据仍留在 ~/.dsh/dsh-ninfer/（或 $DSH_HOME/dsh-ninfer/），重装后会自动恢复。想彻底重置，就单独删除这个插件拥有的数据目录。两个插件互不依赖。

集成

包中声明了 dsh.bundle.patch 和 dsh.client；补丁只插入自己的 Cordis 行。客户端通过文档中给出的 settings.models.footer 槽位注册 React UI，并使用 DSH 主题 token 和 locale 服务。Host 通过 ctx.llm.registerAdapter 注册 LlmAdapter，把 wire 转换、图片和重放交给 DSH 公开的 PiAiAdapter，并单独持有一条 ctx.webServer.register 路由。一个临时 bearer 能力通过 webserver/index-inject 提供，用来保护它的 JSON 操作。没有 iframe，没有 DOM 注入，也不替换内置服务商卡片。

注册和进程生命周期由 ctx.effect/ctx.on 管理。面向智能体的 ninfer_models 工具使用与卡片相同的操作，以及 DSH 的 approveEscalation 机制；host 管理类调用需要 Full 访问权限，或每次调用单独审批。UI 操作需要所有者页面能力。这个初始版本面向本地 Web 配置档；远程委托访问和仅 Electron 的配置档尚未验证。

开发

pnpm install --ignore-scripts
pnpm test
pnpm run check

需要 Node 22.19+。开发用的服务商依赖可能报告跳过可选安装脚本；发布后的插件没有安装脚本，直接使用 DSH 已安装的 peer 包。两个仓库各自包含代码和测试，可以分开开发。

NInfer 运行时

引擎：iamwavecut/ninfer-all，测试所用源码版本 5ed86dff9fe3a5a0776f40a7aea86cf381da990d。

运行时安装器从固定的公开 OCI 镜像下载测试过的 Linux x86_64 Blackwell sm120a 可执行文件。下载后先校验镜像清单摘要和运行时层摘要，再在预期的架构路径下解压常规文件。其他 GPU/平台需要在卡片里选择一个兼容的现有 ninfer-serve 可执行文件。主机仍需提供对应的 CUDA 和多媒体共享库；缺库失败会显示在操作日志里。模型权重从不包含在内，也不会静默下载。

镜像清单：sha256:1f59c4a8285c7c0f9ccb6e5645d112db39956718df9065837ce2a6a3832c6aa9。
运行时层：sha256:53b3ce944aa9ddbe64b46380affd2e3f45e28ba93b316f2f85ec7f664e0fc9ff。

NInfer 使用 .ninfer 产物。本插件不实现 GGUF 到 NInfer 的转换。NInfer 的服务端参数、校准操作、环境变量以及可选的临时电源配置档保持都已暴露。校准由用户触发，并保存其配置档路径。本插件不做自动调优。

附带的 Qwen3.8 27B 参考配置档

初始配置档保留所有者提供的设置：

--max-context 262144 --kv-capacity 262144 --max-concurrency 1
--kv-dtype rk4v4 --spec dflash2 --draft-tokens 7 --lm-head-draft
--embedding-q4 --gdn-state-fp16 --prefill-cublas --prefill-chunk 512
--ngram-draft-tokens 0
它使用模型 ID qwen3.8-27b、端口 8188、纯文本输入、性能电源配置档保持，以及随附的环境/校准路径。所有者的绝对路径是可编辑的参考；其他安装必须选择自己下载的产物和运行时库。

模型：neroued/Qwen3.8-27B-NInfer，修订版本 1cbd84e7221e51186bd7f093a149912d2489625b，随附 SHA-256 81f924d440c27261d820c19a9f8d45794c5aee410f8a68bd358133fa8c0375da。

报告的基准数字来自所有者此前的运行，不声称是新的插件基准。导入此配置档时没有重新运行任何模型推理或校准。重新安装插件会保留已编辑的配置档；只有在配置档存储不存在时才创建种子。

当 Start 或聊天在已保存端口上发现现有服务器时，只有当 /v1/models 公布与已保存模型 ID 完全一致的模型时，才会自动复用它。插件从不接管该进程：Stop 只是断开连接，已保存的启动更改需要你自行重启外部服务器。模型不同、响应无效，或认证服务器没有匹配的凭据，都会被拒绝。Strata 调优需要插件拥有的服务器，绝不复用外部进程。

按模型的推理设置

编辑模型配置档，添加/删除推理级别，为每个级别设置显示名称，并设置精确的 reasoning_effort 后端值。选择默认级别，或选择 Engine default 让请求不指定。支持自定义名称和值；可用性按配置档声明，不假设每个模型都具备。引擎/模板必须接受配置的后端值。

Qwen3.8 配置档初始为 Low → low、Medium → medium 和 XHigh → xhigh，默认 Medium。对话模型选择器通过 DSH 现有的适配器推理元数据使用这些配置档自有设置。无需 DSH 核心补丁。级别列表为空会隐藏该配置档的推理选择器。

Model Scheduler 集成

可选安装 dsh-model-scheduler，以获得共享 GPU 准入、排队聊天切换、手动加载/卸载和可配置的 30 秒空闲超时。此服务商仍可独立使用。调度策略位于那个独立的 Cordis 服务中；无需 Harness 核心更改。报告 GPU 释放前，会停止拥有的引擎进程组。外部服务器只是断开连接，绝不杀死。

DFlash2 缓存限制

调优后的 DFlash2 配置档保持不变。NInfer 明确拒绝 DFlash/DFlash2 的磁盘会话持久化；因此此插件不添加任何不受支持的检查点标志或替代 MTP 配置档。服务器运行时，其原生内存复用仍然可用。卸载或重启引擎需要重建其缓存。