语音输入 woodess/dsh-voice-input

dsh-voice-input

DSH Web GUI 语音输入插件：输入框工具行麦克风按钮，长按/点按录音，本地 SenseVoice 转写后填入输入框，按 Enter 确认发送。全程离线，音频不离开本机。

- 长按说话，松手转写；点按开始/结束
- 录音时实时波形可视化
- 首次使用自动检测模型缺失并一键下载（约 228MB，带进度）
- 模型可配置镜像源，支持 hf-mirror / HuggingFace

安装

从 GitHub 安装（推荐）
dsh plugin --profile web add git+https://github.com/woodess/dsh-voice-input.git

或从本地目录安装（开发调试）
dsh plugin --profile web add link:/path/to/dsh-voice-input

安装后重启 dsh web，输入框工具行出现麦克风按钮。

首次使用（模型自动下载）

插件默认模型目录 ~/sensevoice/model/。模型缺失时麦克风按钮变黄并显示「模型未安装，点击下载」——点击即开始下载（默认 hf-mirror 源，国内快），按钮旁实时显示进度百分比，完成后自动恢复录音功能。

也可手动提前下载：

mkdir -p ~/sensevoice/model && cd ~/sensevoice/model
base="https://hf-mirror.com/csukuangfj/sherpa-onnx-sense-voice-zh-en-ja-ko-yue-2024-07-17/resolve/main"
curl -L --fail -o model.int8.onnx "$base/model.int8.onnx"
curl -L --fail -o tokens.txt "$base/tokens.txt"

使用

- 长按：按住说话，松手自动转写，文字填入输入框
- 点按：点一下开始录音，再点一下结束转写
- 录音中按钮变红 + 实时波形；60 秒自动截断
- 转写结果追加到输入框末尾，检查后按 Enter 发送（不自动发）
- 录音中把指针移出按钮 = 取消（等效上滑取消）

配置

设置面板 → 插件配置 dsh-voice-input：

| 键 | 默认 | 说明 |
| enabled | true | 总开关 |
| modelDir | ~/sensevoice/model | 模型目录 |
| useFp32 | false | 用 fp32 完整模型（更准更慢，需手动下载 model.onnx） |
| numThreads | 4 | ONNX 线程数 |
| mirror | hf-mirror SenseVoice assets | 模型下载镜像源（可换 https://huggingface.co/.../resolve/main） |

架构

- 宿主端（Node，cordis 插件）：/api/dsh-voice/transcribe（裸 float32 PCM / WAV → 文本）、/api/dsh-voice/model-status、/api/dsh-voice/model-download；sherpa-onnx-node 原生绑定直接推理，无 Python 进程；loopback 安全围栏
- 浏览器端（conversation.input.right 槽位）：AudioWorklet 采 16k PCM → POST 本地路由 → inputActions.setDraft 填入输入框；canvas 波形零 React 重渲染

详细设计见 DEPLOYMENT.md。

开发

pnpm install
pnpm exec tsc --noEmit # 类型检查
pnpm run build # 产物到 lib/（提交到仓库）

卸载

dsh plugin --profile web remove @linxin666/dsh-voice-input

License

Apache-2.0