免提语音对话 redhunt07/dsh-voice-conversation

DSH 语音对话

Listed on dsh-plugin.org

Fork 维护者 / 作者：RedHunt07 · 协议：MIT。原始 Voice Loop 代码由 ZG2017 编写，见 NOTICE.md。
为 DSH 提供免提的意大利语/英语对话。开口说话，停顿 1.7 秒，提示词就会提交。最后一段语音回复结束后，用同一个麦克风流恢复监听。紧凑的输入框停靠栏让原生聊天、工具和 DSH 提供的 Think 输出保持可见。这里显示的是 DSH 暴露的推理内容，不是模型的私有推理。

DSH 聊天输入框中的 DSH 语音对话语音停靠栏

意大利语指南 · npm 包 · GitHub Package · 致谢与协议

兼容性

已测试：DSH 0.2.0-rc.2、Node.js 22+、Linux web 配置档。其他 DSH 版本、操作系统和浏览器需要验证。麦克风访问要求 localhost 或 HTTPS，并需要浏览器授权。请使用耳机，减少扬声器回声触发语音打断。

安装

npm 包：dsh-voice-conversation（发布版 0.1.2）。

dsh plugin --profile web add dsh-voice-conversation

这会安装当前 npm 发布版。要固定到已验证的版本：

dsh plugin --profile web add dsh-voice-conversation@0.1.2

上一个 0.1.1 发布版也以下面的预构建归档形式提供。

equivalent prebuilt GitHub archive
dsh plugin --profile web add https://raw.githubusercontent.com/redhunt07/dsh-voice-conversation/main/dist/dsh-voice-conversation-0.1.1.tgz

DSH 命令也会选中 bundle。确认 $DSH_HOME/profiles/web/package.json（通常是 ~/.dsh/profiles/web/package.json）里的 dsh.profile.bundles 中只出现一次 "dsh-voice-conversation"；只在缺失时添加，并保留已有条目。先禁用旧的 Voice Loop bundle：两个插件使用相同的 API 路径，不能同时运行。重启 DSH，然后强制刷新浏览器。

不会自动安装后端、全局转写偏好或后台服务。

可选的本地后端

解压源码归档，打开目录。前置条件：python3、uv，以及 PATH 中的 ffmpeg。安装过程会创建隔离的 Python 3.12 环境，必要时通过 uv 下载解释器，并下载约 3.1 GB 固定版本的 Whisper/Piper 模型文件。请先阅读 NOTICE.md。

python3 scripts/runtime.py setup --device cpu
python3 scripts/runtime.py start

Whisper large-v3 在 CPU 上可能很慢。在 Linux 上，如果驱动兼容 NVIDIA CUDA 12 且显存足够（已在 16 GB GPU 上测试），改用 setup --device cuda。安装过程会在自己的环境里装好固定版本的 CUDA 库，不动系统驱动或系统包。

保持前台进程运行；按 Ctrl+C 停止。数据存放在 ~/.local/share/dsh-voice-conversation；--data-dir PATH 可覆盖该路径。Whisper 使用标准的 Hugging Face 缓存。用下面的命令检查配置和服务可用性：

python3 scripts/runtime.py doctor

后端只绑定 127.0.0.1:8766。DSH 必须运行在同一台机器上；由它的宿主进程代理音频。来自浏览器源的请求会被拒绝。本地进程可以访问这个无认证的后端；请保持端口私有。如需远程浏览器访问，DSH 仍需 HTTPS 才能获得麦克风权限。

使用与配置

在 DSH 聊天中启用一次 Voice Mode，并允许使用麦克风。选择本地识别/合成。意大利语语音选 paola，英语语音选 lessac。识别会自动在意大利语和英语之间选择；输出使用选定的语音，不会自动切换语言。

停靠栏会显示聆听、处理、说话三种状态。回复要等智能体结束后才会朗读；中间工具步骤的文本会跳过。在回复朗读期间说话即可打断。审批请求仍留在普通聊天里，可能需要点击。关闭 Voice Mode 释放麦克风。

默认端点是 http://127.0.0.1:8766/v1/audio/transcriptions 和 /v1/audio/speech。本地/云端选择器是两个可配置槽位，初始都指向 localhost。如有需要，可在插件设置里显式配置兼容的远程端点和凭据。没有隐式的远程回退，也不会自动查找环境中的 API key。STT 接受 multipart 的 file 和 model，返回 JSON {text}。TTS 接受 JSON {model,input,voice,lang_code,response_format:"mp3"}，返回 MP3 字节。

语音模式激活期间，原生 Think 区块会展开一次；手动折叠会被尊重。如需更多活动细节，可在 DSH 自己的设置里选择详细转录和详细用量。插件不会覆盖这些全局偏好。

隐私与限制

提供的后端在内存中处理音频，不保存录音或转写日志。转写后的提示词和回复留在 DSH 的常规会话历史里，并遵循所选聊天模型的数据处理方式。显式配置后，远程语音端点会收到音频/文本。安装需要联网；之后缓存的本地语音模型可离线运行。聊天模型仍可使用远程服务商。

暂停检测和插话打断依赖音频能量，不做语义化的轮次结束判断。房间噪声、麦克风增益和回声都会影响它们。录音上限 120 秒；音频请求 90 秒后超时；播放有看门狗，遇到异常长的回复可能截断。语音提示词在激活期间要求回答简洁。

测试模拟麦克风/音频事件，覆盖 VAD、停靠栏、连续回复、工具步骤过滤、TTS 失败、合成中断、智能体错误和播放未完成。稳定公开发布前仍需真实房间的麦克风测试。版本 0.1.1 是首个候选发布版本。

开发与发布

npm ci --legacy-peer-deps
npm run build
npm test
npm pack

prepack 会重新构建并测试。浏览器代码是手写 JavaScript。包含 Python 依赖锁和模型修订版本。没有 npm install 生命周期钩子。显式文件允许列表排除了模型、环境、凭据和会话历史。

npm 包名 dsh-voice-conversation 已发布并关联到本仓库。发布新版本时，先递增版本号、更新变更日志、重新构建并测试，然后有意执行 npm publish --access public。若要重命名，需同时更新 package.json、src/client.js 和 cordis.patch.yml。安装过程不会向注册表发布任何内容。

卸载时，移除 bundle 条目，运行 dsh plugin --profile web remove dsh-voice-conversation，然后重启 DSH。运行时数据和共享模型缓存不会自动删除。

更自然的本地意大利语语音（0.1.1）

安装时选择可选的 Kokoro 后端：python3 scripts/runtime.py setup --device cuda --tts kokoro（或 --device cpu）。之后正常启动即可。安装会下载固定版本的 ONNX 模型和音色库（额外约 354 MB），校验 SHA-256，并安装单独的可选依赖。本地模型为意大利语提供 if_sara 和 im_nicola，为英语提供 af_heart。引擎保留句子/分句停顿，并为语音合成规范化 Markdown；聊天文本不变。现有运行时安装仍默认使用 Piper。启用 Kokoro 后，旧的 Paola/Lessac 选择会映射到 Sara/Heart。音质是主观的，不等同于商业实时语音服务。

该补丁还修复了聊天完成延迟、同轮审批续接、空操作提交、排队媒体中止/暂停事件和意大利语备用音色选择。自动播放/合成失败会显示在停靠栏，而不是静默跳过。

GitHub Packages

仓库的 Packages 侧边栏包含公开的 @redhunt07/dsh-voice-conversation 包，版本 0.1.1。GitHub 上的带作用域分发会同时调整包、浏览器模块和 bundle 标识。Registry 设置与安装。在配置档里二选一：npm 分发或 GitHub Packages 分发，不要同时启用两者。

插件中心

插件已收录到 dsh-plugin.org。上方的官方徽章直接链接到它的目录页。最初的提交记录在 DSH Plugin Hub issue #548。

仓库是公开的，带有 GitHub topic dsh-plugin，根目录有 package.json，并通过 lib/index.js 导出宿主插件（apply、name、inject、Config）。src/index.ts 包含源码里的 apply(ctx, config) 实现。

0.1.2 目录兼容性

0.1.2 包新增了 dsh-plugin / deepseek-harness 两个 npm 关键字，并在构建后的入口里直接输出 export function apply(ctx, config) 声明。这与已收录插件的入口风格一致，函数实现保持不变。这是为静态发现做的预防措施；Hub 扫描器代码未公开，所以排除原因仍未确认。