yankihue/deepseek-harness-voice-mode

deepseek-voice-mode

DeepSeek Harness（DSH）的常开语音层：通过 ElevenLabs 进行语音输入/输出，
分发到真实的 harness 线程——绝不是并行的 agent 大脑。用语音与你的 agent 对话，
通过语音启动/总结/中断线程，并让线程以语音方式回报。

状态：beta（v0.1.0-beta.1）。 端到端可用，并覆盖了 100 个离线测试，
但仍属于手动安装、单用户构建。在依赖它之前，请先查看
已知限制。

功能

- 浏览器 UI（静态客户端模块）：麦克风 → AudioWorklet → 通过 WebSocket 传输
16 kHz 单声道 PCM；语音播报以 MP3 流式返回。
- 宿主编排器（静态 Cordis 组合插件）：
- HTTP JSON RPC POST /__dsh-voice/rpc/（控制平面）
- WS 路由 /__dsh-voice/ws?t=（数据平面）
- 意图路由器——先执行确定性的生命周期命令，然后进行一次有界的
低推理 llm.stream 调用 → 严格的 JSON 动词
- 线程管理器——创建 / 发消息 / 中断 / 总结 / 监视真实的
harness 会话（agents/subagents/sessionQuery）
- 播报队列——优先级抢占、合并、丢弃上限、字幕镜像
- voice-link 辅助程序（无依赖的 Node ≥ 22 子进程）：
ElevenLabs Scribe v2 实时 STT（VAD 提交）、流式输入 TTS
（eleven_flash_v2_5），以及自包含的 RFC 6455 实现。

ElevenLabs socket 仅从辅助程序向外发起；API 密钥在生成时从 harness
凭据服务解析，并且绝不会到达浏览器。

仓库布局

deepseek-voice-mode/
README.md                     ← 你在这里
PLAN.md PROTOCOL.md RESEARCH.md STATUS.md REVIEW.md   (设计 + 轮次文档)
voice-link/                   辅助子进程 (entry/wsio/bridge/stt/tts)
test/                       离线单元/集成测试 (node --test)
m0-driver.js                开发工具：实时 E2E 演练（需要真实密钥）
packages/orchestrator/        宿主插件：host.js (源) → plugin.cjs
(生成的静态包装) + INTEGRATION.md
packages/client/              浏览器 UI：lib/client.js (部署包),
lib/index.js, package.json, UI-NOTES.md

要求

- Node.js ≥ 22（辅助程序无依赖——无需 npm install）
- 一个暴露 webServer、credentials、
subprocess、settings、commands 的 DeepSeek Harness 部署（对于语音驱动的线程，
还需要 agents/subagents/sessionQuery/llm）
- 一个 ElevenLabs API 密钥（STT+TTS 使用会消耗 ElevenLabs 额度）

安装

完整的安装步骤见 REVIEW.md §6。简版：

1. 将此仓库克隆到任意位置，并记下其绝对路径（）。
2. 追加到 ~/.dsh/profiles/web/cordis.patch.yml：
- insert:
- id: deepseek-voice-mode
name: /packages/orchestrator/plugin.cjs
- id: deepseek-voice-mode-ui
name: deepseek-voice-mode-ui

3. 将客户端包符号链接到配置文件中：
mkdir -p ~/.dsh/profiles/web/node_modules && \
ln -s /packages/client ~/.dsh/profiles/web/node_modules/deepseek-voice-mode-ui

4. 将你的密钥放入 ~/.dsh/.credentials.yaml：
refs: { ELEVENLABS_API_KEY: sk_... }

5. 重启配置文件；留意 [voice.orchestrator] activated。

回滚： 移除插入块 + 符号链接并重启。

用法

完整用户手册：REVIEW.md §5。要点如下：

- 侧边栏左下角麦克风按钮 = 电源。关闭意味着没有辅助进程，且
ElevenLabs 用量为零。
- 右下角胶囊 = 状态；点击打开面板（带中断的线程、字幕历史、
环境监听开关、电源行）。
- 按键说话：按一次编辑器中的 🎙（或你配置的热键）开始
监听；说话；暂停 → 转录内容提交。
- /voice on|off|status|say  文本命令始终可用。
- 语音动词："start a thread that …"、"what's running?"、"stop
"、"summarize "；其他任何内容都会作为普通消息
落入你当前的线程。被监视的线程会大声回报。
- 显式的创建/状态/停止命令在本地路由，不调用模型。
模糊请求使用选定的 Harness 模型，低推理，8 秒截止时间。
字幕和 voice.diag.ping 会暴露所选动词以及
timeout、invalid_json、model_error 或 model_unavailable 回退。

配置

设置命名空间 voice（设置 → 语音）：启用、按键说话模式、
ElevenLabs 语音/模型 ID、STT 语言、VAD 灵敏度、可选的每日
额度上限、自动朗读报告和热键。辅助程序从
已安装的插件目录解析；无需机器特定的路径设置。

开发

cd voice-link
node --test          # 100 个离线测试，约 2 秒，无需网络

node voice-link/m0-driver.js  "expected transcript"
针对真实 ElevenLabs 运行无浏览器的实时 E2E 演练（需要
环境变量中有 ELEVENLABS_API_KEY；写入 /tmp/m0-out.mp3）。

已知限制（测试版）

- 一次只能有一个浏览器连接（v1 设计，PROTOCOL §3）。
- 需要 ElevenLabs API 密钥；STT/TTS 用量会消耗 ElevenLabs 额度
（尚无硬性成本门槛——dailyCreditCap 是可选的）。
- 手动安装到 DSH 配置文件（补丁 + 符号链接 + 重启）；尚未
发布到 npm。
- 一次性 WS 令牌使用确定性熵（REVIEW.md 中的 H3）；设置
架构升级很脆弱（H5）。完整 H1–H12 列表见 REVIEW.md 中的
hack 登记表。

文档

| 文档 | 内容 |
|---|---|
| PROTOCOL.md | 冻结的 v1 线上协议（隧道、WS、RPC） |
| PLAN.md / RESEARCH.md / STATUS.md | 设计 + 逐轮状态 |
| REVIEW.md | 同行评审、安装方法、注意事项、hack 登记表 |
| voice-link/DEVIATIONS.md / README.md | 辅助程序偏差 + 细节 |
| packages/client/UI-NOTES.md | 客户端组件/状态说明 |
| packages/orchestrator/INTEGRATION.md | 宿主服务集成 + VERIFY 注册表 |

许可证

MIT — 版权所有 (c) 2026 yankihue。