NPU 语音识别 sakuraboy9128-cmd/dsh-sensevoice-npu

dsh-sensevoice-npu

把 DSH 的本地语音识别切到 Intel NPU（OpenVINO），并接入官方语音输入模块。

它向官方 @deepseek-ai/dsh-experimental-speech-to-text 服务再注册一个 provider，因此语音按钮、设置卡片、准备进度 UI、语音 API 全部沿用原实现，只有后端推理换成 NPU。

为什么要单独做一个插件

DSH 自带的 dsh-experimental-speech-to-text-sensevoice 在结构上只能用 CPU：

* lib/worker.js 里识别器与 VAD 都写死 provider: "cpu"；
* 随包的 sherpa-onnx-win-x64 是 CPU 版 ONNX Runtime，sherpa 的 openvino provider 只会打印 “OpenVINOExecutionProvider is not available … Fallback to cpu”；
* ONNX Runtime 官方没有 Windows 版 OpenVINO 构建；
* 直接让 OpenVINO 编译该模型会让 NPU 编译器崩溃（x_length 生成的注意力 mask 带来无界动态维度）。

本插件把 x_length 烘焙成常量（NPU 编译器即可接受），按帧桶编译成 IR 跑在 NPU 上，再由一个 Python 子进程通过带鉴权的本地回环 HTTP 提供服务。

目录结构

| 路径 | 作用 |
| lib/index.js | cordis 插件：注册 provider、拉起 worker、驱动准备状态机 |
| lib/worker.py | 本地回环 HTTP worker（每次请求一段 WAV，Bearer 鉴权） |
| lib/sensevoice_npu.py | 前端（fbank + LFR + CMVN）、Silero VAD、NPU 会话、CTC 解码 |
| runtime/bootstrap.ps1 | 创建 worker 所需的 Python 虚拟环境 |

前端与 sherpa-onnx 完全对齐：同一套 kaldi_native_fbank 参数、ApplyLfr(7/6)、以及用 ONNX 元数据里的 neg_mean/inv_stddev 做 (x + neg_mean) * inv_stddev，所以识别结果与官方 CPU provider 一致。

安装

前置：模型文件

worker 需要以下三个文件（本插件不下载模型，注册时 downloadSources 为空）：

| 相对 dataRoot 的路径 | 大小 |
| models/sensevoice-onnx/model.int8.onnx | 约 228 MB |
| models/sensevoice-onnx/tokens.txt | 约 0.3 MB |
| models/silero/silero_vad.onnx | 约 1.7 MB |

官方 dsh-experimental-speech-to-text-sensevoice provider 会把它们下载到同一个 dataRoot（<DSH home>/speech-to-text/sensevoice），所以先让官方 provider 准备一次，或手动放到上表位置即可。

1. 建环境（需要 64 位 Python 3.11–3.13 与 Intel NPU 驱动）：

pwsh -File runtime/bootstrap.ps1

2. 装进带语音输入 bundle 的 profile（DSH 桌面端用的是 desktop profile）：

dsh plugin --profile desktop add "file:C:/path/to/dsh-sensevoice-npu"

pnpm 是拷贝安装，迭代时把拷贝换成指向工作区的 junction：

$d = "$env:USERPROFILE\.dsh\profiles\desktop\node_modules\dsh-sensevoice-npu"
Remove-Item -Recurse -Force $d
New-Item -ItemType Junction -Path $d -Target C:\path\to\dsh-sensevoice-npu

3. 本 bundle 自带的 cordis.patch.yml 已经完成「选中 provider + 注册插件」两件事，且不含任何机器专属路径：pythonPath 默认取 bootstrap 产物， dataRoot 默认取 DSH 语音根目录。只有你把环境挪到别处时，才需要往 ~/.dsh/profiles/desktop/cordis.patch.yml 追加覆盖（先备份）：

- id: speech-to-text-npu
name: 'dsh-sensevoice-npu'
config:
pythonPath: <自定义 venv>\Scripts\python.exe # 仅当 bootstrap 用了 -VenvDir dataRoot: <自定义语音根目录> # 仅当 DSH_HOME 非默认

4. 重启 DSH。语音输入卡片会出现 SenseVoiceSmall · Intel NPU (NPU) 并默认使用它；首次准备会编译一次 NPU 图（约 2.5 分钟），之后启动约 0.2 秒。
若卡片仍指向 CPU provider，在语音输入设置里手动选 NPU 那个（显式选择会覆盖 patch 默认值）。

配置项

| 键 | 默认 | 说明 |
| pythonPath | %LOCALAPPDATA%\dsh-sensevoice-npu\venv\Scripts\python.exe | worker 解释器（bootstrap 产物） |
| dataRoot | <DSH home>\speech-to-text\sensevoice | DSH 语音根目录，模型读自 <dataRoot>/models |
| precision | int8 | int8（model.int8.onnx）或 fp32（model.onnx） |
| device | NPU | 识别器设备（NPU/GPU/CPU） |
| vadDevice | CPU | Silero VAD 设备；模型极小且是动态 shape，NPU 编译会拒绝 |
| useVad | true | 去静音、把长录音切成若干段 |
| buckets | 插件配置里为 [256] | 允许编译的帧桶；256 帧 ≈ 15 秒音频 |
| prewarmBuckets | [256] | worker 就绪前先编译的桶 |
| idleTimeoutMs | 600000 | 空闲回收 worker（编译产物仍留在磁盘缓存） |

每多一个桶大约多占 800 MB 磁盘（烘焙 IR + OpenVINO NPU 缓存）并多一次约 2.5 分钟的编译，默认只用一个桶即可。

实测（Core Ultra X7 358H / Arc B390 / NPU 驱动 32.0.100.5540）

| 场景 | 结果 |
| 热启动（缓存命中） | 0.21 s |
| 4.5 s 中文 | 今天天气不错，我们去公园散步吧，0.66 s |
| 5.2 s 中文 | 明天上午10点开会，记得带上项目进度报告，0.48 s |
| 14.5 s 中文 | 整句正确，0.65 s |
| 每个桶首次编译 | 100–145 s，之后走缓存 |

CPU 只负责前端（fbank + VAD，几毫秒）与 JSON 转发，重头计算全在 NPU。
需要说明的是：这么短的音频上 NPU 并不比 CPU 版 sherpa 快（约 0.5 s vs 0.2 s），收益在于把重活从 CPU/GPU 挪走。

开发

node --test # 6 个测试，无依赖

覆盖注册契约（provider id、设备标签、诊断文件）、pythonPath/dataRoot 的可移植默认值，以及两个若不早拦就会在后面才炸的配置：空桶列表与相对路径。

常见问题

* 确认 profile 是否真的加载了插件、当前阶段与设备：

Get-Content "$env:USERPROFILE\.dsh\speech-to-text\sensevoice\npu\provider-status.json"

* 提示 NPU device not visible → 升级 Intel NPU 驱动（已测 32.0.100.5540）。
* 提示 NPU compile failed → 删除 <dataRoot>/npu 重试，并确认磁盘剩余空间（每个桶约 1 GB）。
* 首次用到新桶时较慢 → 正在编译；之后走缓存。
* 卡片仍显示 CPU provider → 在语音输入设置里手动选 SenseVoiceSmall · Intel NPU (NPU)。