本地语音输入Lanzgale/dsh-listener

dsh-listener — 本地安全语音输入插件

在 DSH 对话输入框右侧添加麦克风按钮:录音 → 本地 SenseVoice-Small INT8 ONNX 转写 → 文本填入输入框。音频全程本地处理,不出网。

fork/参考:@opensquad/dsh-voice-input(MIT,已克隆 ~/file/dsh/plugin/dsh-voice-input),重写为安全架构,详见下方「与原版的差异」。

架构

浏览器(输入框 conversation.input.right)
└─ 同源 POST /plugins/dsh-listener/*(宿主代理,无 CORS)
└─ 宿主:生命周期管理 + 20MB 上限 + 语言头透传
└─ Python 后端(单进程,仅 127.0.0.1:7103 + 随机 token)
├─ /health /download /download/status /start
└─ /v1/audio/transcriptions(SenseVoice-Small INT8 ONNX)

目录

- lib/index.js — 宿主:路由代理、后端生命周期(懒启动/崩溃重启/dispose 清理)、依赖检查与安装(钉版本)
- lib/client.js — 浏览器:麦克风按钮、录音(120s 上限)、进度/错误弹窗、inputActions.setDraft 追加填入
- backend/server.py — 合并后端(下载网关 + 推理服务单进程)
- backend/lib/inference.py — SenseVoice ONNX 推理(MIT 复用,未改动)
- backend/lib/model_store.py — 模型下载 + sha256 落盘校验
- backend/requirements.txt — 钉版本依赖(onnxruntime==1.29.0 等)

存储

| 数据 | 位置 |
|---|---|
| 模型(4 文件,~240MB) | ~/.local/share/dsh-listener/model/(环境变量 DSH_LISTENER_MODEL_DIR 可改) |
| sha256 清单 | 同目录 .sha256.json(首次下载建立信任锚点,启动时校验,损坏自动重下) |
| Python 依赖 | ~/.local/lib/python3.14/site-packages/(--user --break-system-packages,PEP 668) |
| token | 每进程随机,命令行注入,不落盘 |
| 后端日志 | backend/server.log |

与原版的差异(安全修复清单)

| 原版 | dsh-listener |
|---|---|
| 浏览器直连 127.0.0.1:7101/7102 + CORS 全开 | 浏览器只访问同源宿主路由;后端无 CORS |
| 后端绑 0.0.0.0、零鉴权 | 只绑 127.0.0.1 + 回环来源校验 + 随机 token |
| 网关 + 推理两进程 | 合并单进程,生命周期一条清理链 |
| /uninstall 可远程删模型 | 删除该端点 |
| 无大小/时长限制 | 20MB / 120s 上限(宿主+后端双重) |
| 自动 pip 装未钉版本 | 钉版本 + 首次安装前 UI 确认 |
| 模型无校验 | sha256 落盘 + 启动校验 + 损坏自动重下 |
| 无 dispose 清理 | 宿主 dispose / 进程退出统一 kill |

使用

1. 首次点击麦克风:确认后自动安装依赖(约 250MB)+ 下载模型(约 230MB),进度条显示
2. 就绪后:点击开始录音,再点停止 → 转写 → 填入输入框(已有内容则追加)
3. 输入框已有草稿时追加在末尾;识别失败显示角标 !

开发

- client 改动:Ctrl+Shift+R 刷新即可(curl http://127.0.0.1:3080/plugins/dsh-listener/client.js 验证服务端已更新)
- host / 后端改动:重启 DSH
- 模型重下:rm -rf ~/.local/share/dsh-listener/model 后重新走下载流程