三进制本地大模型 lvsun080403/Bonsai-27B-72K-DSH-

Bonsai 27B · 72K · 一键部署

双击 install.bat，十分钟后，你的 12 GB 笔记本上跑着一个 27B 模型。

三进制（Ternary）权重 · 8.87 GB 模型 · 73,728 上下文 · 实测 57–66 tok/s · 全程离线

一键部署 · 我的优化 · 实测数据 · DSH 插件 · 已知坑 · English

这张图就是全部卖点

双击 install.bat

上游把模型、引擎、KV 管理、三进制内核拆在四个仓库、若干网盘和一堆 bat 里，版本互相对不上。
这个仓库把它们拼成一个文件夹：双击 install.bat，等进度条走完，双击 start.bat，完事。

这是什么

一个能在消费级显卡上跑 27B 的自包含部署包。模型不是量化到半残的 Q4，而是把权重压成三进制（−1 / 0 / +1）再配分组缩放，等效 1.76 bit，却保住了原模型 98.2% 的分数。

| 模型 | Ternary-Bonsai-2-27B-ninfer-v3.ninfer · 9,520,051,456 B（8.87 GiB） |
| 基座 | Qwen3.8-27B（27B 稠密、64 层、hidden 5120、词表 248,320、原生 262,144 上下文） |
| 精度 | 三进制权重 + FP16 分组缩放，官方口径保留 98.2%（综合 83.9 vs 85.4） |
| 引擎 | NInfer（KVMem v0.18.0 · Windows · RTX 50 系 sm_120a 构建） |
| 默认上下文 | 73,728 token ≈ 11.9 万汉字 ≈ 一整本《活着》 |
| 显存占用 | 约 10.5 GB（12 GB 卡上的实测峰值） |
| 解码速度 | 57–66 tok/s（长答）；短答 65–71 tok/s |
| 预填充 | 564–724 tok/s（8K–71K 提示） |
| 依赖 | 不需要 CUDA Toolkit、不需要 Python、不需要 WSL —— 只要驱动够新 |

精度保留 98.2%

🚀 一键部署三步

① 双击 install.bat 下载 → 校验 SHA256 → 解压 → 写配置（首次约 10.4 GB） ② 双击 start.bat 加载引擎（约 5 秒），打印 Base URL / 模型名 / API Key ③ 打开 http://127.0.0.1:18200

就这三步。没有 Python 环境、没有 pip、没有编译。

它到底做了什么（点开）

1. 环境自检：64 位 / Windows 10+ / curl / 显卡 compute_cap 必须是 12.0（RTX 50 系）/ 磁盘 ≥ 22 GB；缺 VC++ 运行库会自动下载安装。
2. 引擎：从镜像下载 kvmem-v0.18.0-ninfer-windows-rtx50-sm120a.zip（900,767,487 B），SHA256 逐字节校验后解压拍平。
3. 权重：下载 Ternary-Bonsai-2-27B-ninfer-v3.ninfer（9,520,051,456 B），同样校验 SHA256。
4. API Key：首次运行自动写入 api-key.txt（默认 sk-171212e1b4a08d12xh2131234356647yu）。
5. 启动：scripts\serve.ps1 组装参数，后台拉起引擎，轮询 /health 直到 200。

重跑是安全的：已经下好的文件会显示“已存在”并跳过。

🔧 我做了什么优化

上游能给的是一个能用但难用的组合。下面每一条都是踩过坑之后改的，括号里是实测数字。

| # | 问题 | 我做的处理 | 效果 |
| 1 | 官方只有 sm_89 / sm_86 构建，RTX 50 系加载即崩 | 换用 sm_120a 通用构建，并确认二进制里含 t2_g128 三进制内核 | 12 GB 笔记本卡可直接跑 |
| 2 | 默认开 CUDA Graph，启动阶段 cudaErrorGraphExecUpdateFailure | 固定 --no-cuda-graph | 能启动，速度几乎无损失 |
| 3 | 默认 KV 类型吃显存 | 换 rk4v4（4-bit KV） | 上下文 20,480 → 65,536，再调到 73,728 |
| 4 | 预填充慢（长文档等不起） | --fast-prefill-kernel + --prefill-chunk 512 | 71K 提示 564 tok/s |
| 5 | 投机解码草稿宽度不会选 | A/B 测出 --draft-tokens 2 最稳 | 长答 55–60 tok/s（4/6 反而掉到 42–45） |
| 6 | 主机内存只有 16 GB，默认会 pin 9.2 GiB 直接失败 | --kvmem-host-mib 2048 + --kvmem-sessions 2 | 内存占用降到约 2 GB，服务能起来 |
| 7 | 下载源动不动断流 | 多源兜底（镜像优先、直连永远排最后）+ --ssl-no-revoke + 断点续传 + 45 秒卡死看门狗 | 一次装完，不用人盯着 |
| 8 | 进度看不见 | 自绘单行原地刷新进度条（[####----] 42.3% 3.76 GB / 8.87 GB 12.4 MB/s ETA 06:52） | 一眼能判断「是否在正常下」 |
| 9 | 包内文件散、版本对不上 | 引擎与权重全部 SHA256 校验；同盘用硬链接安装，不重复占空间 | 装完即用，可复现 |
| 10 | 双击 bat 出来的窗口关不掉进程 | stop.bat 只杀本端口的进程，不误杀别的模型 | 多模型共存不串台 |

完整调参记录、断电矩阵、失败尝试都在 使用说明.html。

📊 实测数据

三档上下文，同一台机器（RTX 5070 Ti Laptop 12 GB / i7 / 16 GB RAM / 驱动 591.91）：

| 提示长度 | 预填充 | 首字延迟 | 解码 |
| 20,046 token | 679 tok/s | 29.5 s | 57.1 tok/s |
| 48,083 token | 604 tok/s | 79.7 s | 58.9 tok/s |
| 70,331 token | 564 tok/s | 124.7 s | 66.5 tok/s |

结论：解码速度基本不随上下文变慢（57–66 tok/s），变慢的只有首字延迟，约每 1 万 token +1.7 秒。前缀缓存生效时，同一段 8K 提示的第二次首字从 11.0 s 掉到 0.18 s。

与其他方案的对比（点开）

| | 本仓库（Bonsai 27B / 三进制） | Qwen3.5-9B Q4_K_XL | 27B Q4（常规量化） |
| 权重体积 | 8.87 GiB | 5.56 GiB | 16.5 GiB |
| 参数 | 27B | 8.95B | 27B |
| 12 GB 显存 | ✅ 10.5 GB | ✅ 9.4 GB | ❌ 装不下 |
| 上下文 | 73,728 | 131,072 | — |
| 预填充 | 564–724 tok/s | 2,813 tok/s | — |
| 解码 | 57–66 tok/s | 55.5 tok/s | — |
| 同题正确率（15 题） | 11/15 | 11/15 | — |

一句话：它不是「更聪明的 9B」，而是「你机器上唯一能跑的 27B」。

🎛 自带 DSH 插件

仓库里的 dsh-local-model-toggle-plugin-0.6.0.zip 是一个 DeepSeek Harness 插件（也是我写的）：

- 左侧栏底部一个胶囊开关：左键启停，右键弹菜单
- 自动识别 DSH 配置里所有本地模型（127.0.0.1 / localhost），右键切换，不会串台
- 每个模型独立记录部署夹与上下文长度
- 闲置 N 分钟自动关停，把显存还给游戏
- 找不到部署夹时红点提示，右键选目录

装法：解压 → 双击 install.bat → 完全退出 DSH 再打开。

📁 目录结构

.
├── install.bat ← 双击这个 ├── start.bat / stop.bat / status.bat ├── 重置下载.bat ← 下载卡死时清缓存重来 ├── api-key.txt ← 首次安装自动生成
├── scripts\
│ ├── install.ps1 安装：自检 / 下载 / 校验 / 解压 / 写 key │ └── serve.ps1 启动：组参数 / 拉进程 / 等 /health ├── engine\ 引擎（安装后生成） ├── model\ 权重（安装后生成，同盘硬链接） ├── download\ / run\ 下载缓存与运行日志 ├── 使用说明.html 完整说明书（12 章） └── dsh-local-model-toggle-plugin-0.6.0.zip

⚠️ 已知坑（必读）

1. 别同时开 --prefill-chunk 4096 和 --prefill-cublas。我这台机器上这个组合会整机断电（Kernel-Power 41，BugcheckCode=0，无蓝屏无过热），单独用任一个都正常。默认配置已经避开。
2. 默认上下文 73K，不是 262K。满 262,144 需要 16 GB 卡（官方口径：16 GB 卡上约 7 GB 出头显存）。
3. 走的是私有格式（.ninfer），stock llama.cpp 读不了，必须用包内引擎。
4. 三进制内核跑在 CUDA 上，Windows + RTX 50 系是验证过的组合；40 系要换 sm_89 构建。
5. 首次加载约 5 秒，之后靠系统文件缓存，基本瞬开。

❓FAQ

能跑在 8 GB 显存上吗？
官方口径可以（8 GB 即可运行），但会牺牲上下文；我这边的 12 GB 配置是「73K 上下文 + 满载还剩 1.2 GB」的折中。

为什么不用 Ollama / LM Studio？
它们还不支持三进制权重（t2_g128_fp16 是 PrismML 的私有张量类型），加载会直接报 invalid ggml type 143。

它会不会瞎编？
会。同题实测里「虚构条约」一题，它和 9B 都编了，只是编的年份不同。27B 不等于不幻觉。

能商用吗？
权重与基座是 Apache-2.0，但请自行核对上游许可；本仓库只做「把它们拼起来 + 调好参数」。

🙏 致谢与来源

| 角色 | 来源 |
| 基座模型 | Qwen3.8-27B（Apache-2.0） |
| 三进制压缩 | PrismML |
| ActKV 思路 / KVMem | 中国科学技术大学（arXiv:2609.31395） |
| 引擎构建 | kvmem v0.18.0（NInfer · Windows sm_120a） |
| 三进制构件 | WaveCut（HuggingFace） |
| 部署包 · 调参 · DSH 插件 | 本仓库 |

新仓库地址：<https://github.com/lvsun080403/Bonsai-27B-72K-DSH->

如果你也在这套东西上踩过坑，欢迎开 issue 补充；参数是拿真机一档一档试出来的，有更优组合请告诉我。

🇬🇧 English

双击 install.bat。十分钟后，27B 模型就能在你 12 GB 的笔记本上跑起来。

这是什么

一个自包含的 Windows 部署包，把 27B 三进制量化模型塞进消费级 GPU。权重按 {−1, 0, +1} 打包，配合分组缩放——实际只有 1.76 bit，却保住了原模型 98.2% 的基准分数。

| 模型 | Ternary-Bonsai-2-27B-ninfer-v3.ninfer · 8.87 GiB |
| 基座 | Qwen3.8-27B（27B dense · 64 层 · 原生上下文 262,144） |
| 引擎 | NInfer / KVMem v0.18.0 · Windows · RTX 50 系 sm_120a 构建 |
| 默认上下文 | 73,728 token（约 11.9 万汉字） |
| 显存 | 约 10.5 GB（峰值，12 GB 笔记本实测） |
| 解码 | 长文 57–66 tok/s · 短答 65–71 tok/s |
| 预填充 | 564–724 tok/s |
| 环境要求 | 不用 CUDA Toolkit，不用 Python，不用 WSL——驱动够新就行 |

🚀 三步走

1. double-click install.bat download → verify SHA256 → extract → write config (~10.4 GB)
2. double-click start.bat load engine (~5 s), prints Base URL / model / API key
3. open http://127.0.0.1:18200

安装器到底做了什么

1. 预检：64 位 / Windows 10+ / curl / GPU compute_cap == 12.0（RTX 50）/ 磁盘剩余 ≥ 22 GB；缺 VC++ 运行库就自动装上。
2. 从镜像下载引擎 zip（900,767,487 B），校验 SHA256，解压并压平目录结构。
3. 下载权重（9,520,051,456 B），校验 SHA256。
4. 首次运行时写出 api-key.txt。
5. scripts\serve.ps1 拼好启动参数，后台拉起引擎，轮询 /health。

重复运行没问题——已完成的文件会被识别并跳过。

🔧 我到底改了什么（以及为什么）

| # | 问题 | 修法 |
| 1 | 上游只有 sm_89/sm_86 构建 → RTX 50 上直接挂 | 换成 sm_120a 构建；在二进制里确认了 t2_g128 内核 |
| 2 | 默认 CUDA Graphs 启动就崩（cudaErrorGraphExecUpdateFailure） | 强制加 --no-cuda-graph |
| 3 | 默认 KV 类型吃显存 | 换成 rk4v4（4-bit KV）：20,480 → 65,536 → 73,728 token |
| 4 | 长文档预填充太慢 | --fast-prefill-kernel + --prefill-chunk 512 → 71K 时 564 tok/s |
| 5 | 投机解码的草稿宽度未调优 | A/B 实测 --draft-tokens 2 最佳（55–60 tok/s；4/6 掉到 42–45） |
| 6 | 默认固定占用 9.2 GiB 主机内存 → 16 GB 机器上跑不起来 | --kvmem-host-mib 2048 + --kvmem-sessions 2 |
| 7 | 下载老是卡住 | 多镜像故障转移（直连永远放最后）、--ssl-no-revoke、断点续传、45 秒卡顿看门狗 |
| 8 | 下载时看不到进度 | 单行内联进度条，显示速度和剩余时间 |
| 9 | 文件散落各处，版本对不上 | 引擎 + 权重都做 SHA256 校验；同卷内用硬链接安装 |
| 10 | 双击 bat 后留下僵尸进程 | stop.bat 只杀自己端口上的进程 |

📊 实测数据

RTX 5070 Ti Laptop（12 GB）· 16 GB 内存 · 驱动 591.91：

| 提示词 | 预填充 | 首 token 延迟 | 解码 |
| 20,046 tok | 679 tok/s | 29.5 s | 57.1 tok/s |
| 48,083 tok | 604 tok/s | 79.7 s | 58.9 tok/s |
| 70,331 tok | 564 tok/s | 124.7 s | 66.5 tok/s |

解码速度基本不随上下文长度变化，只有首 token 延迟在涨（每 1 万 token 约 +1.7 s）。开启前缀缓存后，重复的 8K 提示词首 token 延迟从 11.0 s 降到 0.18 s。

🎛 附带的 DSH 插件

dsh-local-model-toggle-plugin-0.6.0.zip 在 DeepSeek Harness 左下角加了一个胶囊开关：左键启动/停止，右键从 DSH 配置里发现的所有本地模型（仅限回环地址）中挑选，每个模型有自己的部署目录和上下文大小。空闲自动停止，把 GPU 让给游戏。

⚠️ 已知问题

1. 千万别把 --prefill-chunk 4096 和 --prefill-cublas 一起用 —— 在这台机器上，这个组合会直接把整台笔记本硬重启（Kernel-Power 41，没有蓝屏，也没过热）。两个单独用都没事。默认配置已经避开了。
2. 默认上下文是 73K，不是 262K。要用满 262,144 的窗口，得 16 GB 显卡。
3. 专有容器格式（.ninfer）—— 原版 llama.cpp 读不了，请用附带的引擎。
4. 只在 Windows + RTX 50（sm_120a）上验证过；40 系需要 sm_89 构建。

🙏 致谢

基座模型 Qwen3.8-27B（Apache-2.0）· 三值打包 PrismML · ActKV/KVMem 研究 USTC（arXiv:2609.31395）· 引擎构建 kvmem v0.18.0 · 三值产物 WaveCut。打包、调优和 DSH 插件由本仓库完成。

仓库：<https://github.com/lvsun080403/Bonsai-27B-72K-DSH->

如果这帮你省下了一个周末，点个 ⭐ 能让更多人找到它。