本地推理引擎管理 cybtachyon/dsh-plugin-local-infer

dsh-plugin-local-infer

中文 (Chinese)

如果你想让自己的硬件发挥出比 Unsloth 开箱即用更好的性能，这个插件就是为你准备的。

一个 DeepSeek Harness 插件，用来管理本地推理引擎：

- llama.cpp
- NInfer
- Hyper-Qwen (vLLM)
- Strata
- ……后续还会支持更多。

Plugin Screenshot

选好模型和引擎，调好参数，盯着实时 VRAM Est. 仪表，一旦某个值（或者某个参数本身）对检测到的硬件不安全，立刻就能看到硬件警告。确认无误后，插件会为每个引擎管理构建、部署和健康检查，并在确认可用后自动把它注册为 DSH 模型。不用再手改那些难伺候的 yaml 或启动脚本。

安装

命令行：

dsh plugin --profile web add https://github.com/cybtachyon/dsh-plugin-local-infer

Web UI：点击 Plugins → Add Plugin → 粘贴 https://github.com/cybtachyon/dsh-plugin-local-infer。

使用插件

Engine settings 卡片挂在 Plugins 页面（老版本宿主是 Settings 页面）。

- 选引擎和模型，然后调参数。每个字段按类型渲染：复选框、下拉框、滑块、文本框、目录选择器，还有一个聊天模板组合框（已知模板加自由输入）。
- 盯住 VRAM Est. 仪表。 你调整数值时，它会按你的显卡估算权重、KV cache、开销和工作区，并给出结论（fits / tight / over）以及能放下的最大上下文。
- 看警告。 当某个参数值、或者某个参数的存在，对检测到的硬件不安全时，会弹出红色横幅和字段内联警告。
- 满足系统依赖。 面板会列出每个缺失的宿主依赖（docker、CUDA toolkit、ffmpeg、hf CLI……），附上用途、适用于你操作系统的复制粘贴安装命令，以及可选的一键 Run（sudo）。在所有依赖都报告已满足之前，Get 按钮一直禁用。
- Launch / Stop。 Launch 会克隆或拉取引擎、下载模型、启动它，并轮询健康检查端点。Stop 把它关掉。
- Register / Remove。 Register 通过设置服务把确认可用的引擎发布为 DSH 模型（可选设为智能体默认模型），改动有版本记录，可以撤销。Remove 把条目撤回。

所有值都持久化到 ~/.dsh/local-infer/config.json；浏览器看不到任何它没存过的值。

支持的平台

操作系统

| 操作系统 | 状态 | 说明 |
| Linux（Debian/Ubuntu，apt） | 支持 | 安装块与可用的 NInfer 启动器保持一致：CUDA keyring 序列加上编译工具链。 |
| Linux（Arch，pacman） | 支持 | pacman 块加上 /opt/cuda 导出行。 |
| Linux（Fedora，dnf） | 未测试 | 命令集已就位，在真实主机上标记为未测试。 |
| macOS（brew） | 部分支持 | CPU/docker 路径（llama.cpp）。macOS 上没有 NVIDIA Container Toolkit，因此 CUDA 引擎的 docker 路径不可用。 |
| Windows（WSL2） | 未测试 | 能检测到 WSL2，dflash2 的 pin-memory 规则会触发；命令集标记为未测试。 |
| Windows | 部分支持 | 代码路径只写了一部分，还需继续开发。 |

引擎

| 引擎 | Docker | 本地构建 | 状态 |
| NInfer | 是 | 是（cmake + CUDA） | 参考引擎。已实测 Qwen 27B/35B 产物的 VRAM 模型。 |
| Hyper-Qwen（vLLM） | 是（compose） | 否 | 由 .env 驱动的 docker-compose 配置档。 |
| vLLM | 否 | 否 | 开发中。 |
| llama.cpp | 是 | 是 | 已指定，二进制可用前尚未验证。 |
| Strata | 是 | 否 | 占位引擎；在标志集落地前，其参数面为空。 |

运行时要求：Node ^22.19.0 || >=24.0.0、pnpm 12.11.2（由 mise.toml 固定），以及对等依赖 @deepseek-ai/cordis >= 4.0.1。

硬件指南

常见机器实际能跑出什么效果。能力印象来自 r/LocalLLaMA 的用户讨论帖。「共享」指统一内存（模型和操作系统共用内存池）。

| 硬件 | 内存 | 你能得到什么 |
| NVIDIA RTX 5090 | 32 GB VRAM | 能稳定装下最大 23 GB 的模型权重，支持 240k+ 上下文和视觉。能处理复杂的编码与视觉任务，但任务很长或很复杂时需要特殊工具。 |
| NVIDIA RTX 4090 | 24 GB VRAM | 社区主力卡。30B 级模型以 Q4 量化装下，能驱动编码智能体；70B 需要慢速 CPU offload。单卡里每美元速度最佳。 |
| NVIDIA RTX 3090 | 24 GB VRAM | 二手卡性价比之王。显存和 4090 一样是 24 GB，但代次更老：32B 以 Q4 量化加中等上下文，不支持 FP8。单卡有局限，常见建议是配两张。 |
| NVIDIA RTX PRO 6000 | 96 GB VRAM | 接近前沿的稠密模型（70B–80B）能完整装进显存并跑长上下文，32B 模型甚至能微调（LoRA、全量 FT）。专业消费级的顶配。 |
| NVIDIA RTX PRO 5500 | 84 GB VRAM | 面向机架的 84 GB 档位：70B 级模型还有余量，价格更低，接近 PRO 6000。 |
| NVIDIA Tesla V100 | 32 GB VRAM | 便宜的二手 HBM2 服务器卡。30B 级模型以 Q4/Q8 量化跑出不错的速度（推理看的就是带宽）；不支持 FP8，功耗高。预算有限的家用实验室之选。 |
| NVIDIA Tesla V100 | 16 GB VRAM | 预算入门款。13B–14B 以 Q8 量化，或 30B 加 offload。NVLink 双卡容量翻倍。按现代标准算慢，但推理表现意外扎实。 |
| NVIDIA RTX 5090 Laptop | 24 GB VRAM | 移动版 4090。32B 以 Q4 量化刚好装下；扣掉上下文后，现实里大约能跑 17B 的 Q4。 |
| NVIDIA RTX 4090 Laptop | 16 GB VRAM | GPU 对 LLM 来说过剩，显存却不够：8B–14B 以 Q4/Q5 量化加小上下文。 |
| NVIDIA GB10 (DGX Spark) | 128 GB shared | 桌面 AI 开发机。35B MoE 跑到约 100 tok/s；120B+ MoE 装得下但很慢。容量优先于速度。 |
| NVIDIA GB10 (DGX Spark) | 64 GB shared | 显存池减半：32B–35B MoE 加上下文；70B 很紧张。 |
| NVIDIA RTX N1X | 128 GB shared | 下一代 GB10 级笔记本：笔记本里塞进 DGX Spark 级容量。非常新，实际数据很少。 |
| NVIDIA RTX N1X | 64 GB 共享显存 | 64 GB 档位：32B 级模型，带上下文。 |
| Apple M4 Ultra | 256 GB 共享内存 | 容量之王。200B+ MoE 和 70B 在 128K 上下文下都能装下；70B 上大约 5 tok/s。每 token 很慢，容量无人能敌。 |
| Apple M4 Ultra | 128 GB 共享内存 | 70B–120B 级模型装得下还有余量；约 5 tok/s。容量出色，速度偏慢。 |
| AMD Radeon AI PRO R9700 | 32 GB 显存 | AMD 的 32 GB Vulkan 卡。32B 跑 Q8 大约 $1,300，性价比不错；radv 驱动不是符合规范的 Vulkan 实现。 |
| AMD Ryzen AI Max+ PRO 495 | 160 GB 共享内存 | UMA 怪兽。120B+ MoE 装得下，编码智能体跑得也顺（Qwen3-Coder 级模型针对 UMA 调优过）；整机 $7k+，比独立 GPU 慢。 |
| 2x NVIDIA RTX 3090 | 48 GB 显存 | 社区公认的「本地 LLM 可用下限」：70B 跑 Q4/Q5。 |
| 2x NVIDIA RTX 4090 | 48 GB 显存 | 70B 跑 Q4 带上下文；exllama2 量化跑得快。 |
| 2x NVIDIA RTX 5090 | 64 GB 显存 | 120B MoE（GPT-OSS-120B）带 128k 上下文，offload 下约 10 tok/s。 |
| 2x NVIDIA Tesla V100 (NVLink) | 64 GB 显存 | 预算型 64 GB：70B 跑较低量化，靠 NVLink 带宽；架构较老，不支持 FP8。 |