鲸语桌宠语音 2177302423qqcom-byte/whale-voice

🐋 Whale Voice — 让桌宠拥有自己的声音

给 AI 桌宠一套完整的本地语音系统：情感说话、唱歌翻唱、服务化接入。
全部本地推理，无云 API，零订阅费。

新来的小肥鱼 👉 先看 小肥鱼指南.md —— 那里写清了「你需要准备什么」和「怎么用」，不用读完全部文档。

✨ 它能做什么

| 能力 | 引擎 | 延迟 | 离线 | 文档 |
| 情感说话（10 种预设） | IndexTTS2 | ~2-5s/句 | ✅ | docs/speaking.md |
| 唱歌翻唱（音色转换） | RVC | 3-8 分钟/首 | ✅ | docs/sing-pipeline.md |
| 音色克隆（备选） | GPT-SoVITS | ~2-5s/句 | ✅ | docs/engines.md |
| HTTP 服务（给桌宠接） | FastAPI 风格 daemon | 常驻 | ✅ | docs/daemon.md |

硬件：RTX 4060 Laptop 8GB 可跑（说话要 8GB，唱歌推理 4.3GB 起）。

🎁 本仓自带的东西

| 内容 | 位置 | 说明 |
| 3 个 RVC 模型 | models/ | ★ MIT 许可，可直接用（说明） |
| 检索索引 | models/.index | 配 RVC 用的 FAISS 索引 |
| 实测知识库 | docs/learned/ | ★ 翻唱管线的踩坑与判据（翻唱实测知识） |
| 唱歌管线 | whale_sing/ + scripts/ | 6 个 CLI + 核心库，端到端验证过 |
| 软糯标尺 | scripts/measure_softness.py | 量任何音频离「软糯」多远（定义） |
| 自动收敛 | scripts/tune_softness.py | 自动调到标尺（迭代法） |

本仓不附带任何音色样本 —— 音色要你自己录，那样才是你的桌宠。
引擎本体（RVC / IndexTTS2 / Demucs）也不打包，都从官方仓库免费下载。
具体见 小肥鱼指南.md 的「你需要准备什么」。

🎯 三十秒上手

git clone https://github.com/<you>/whale-voice.git
cd whale-voice

── 说话 ──
pip install -r requirements.txt
python scripts/speak.py --text "主人你回来啦！" --emotion tender --out hello.wav
python scripts/tts_daemon.py --port 7864 # 起服务给桌宠接

── 唱歌 ──
pip install -r requirements-sing.txt
export RVC_DIR=/path/to/Retrieval-based-Voice-Conversion-WebUI
python scripts/separate.py --in song.wav --out work/
python scripts/source_fix.py --in work//vocals.wav --out work/clean.wav
python scripts/sing.py --in work/clean.wav --out work/rvc.wav \
--model models/whale_ft_e35_s1295.pth \
--index models/whale_added_IVF450_Flat_nprobe_1_whale_v2.index --pitch 0
python scripts/layers.py --in work/rvc.wav --src work/clean.wav --out work/vocal.wav
python scripts/mixdown.py --vocal work/vocal.wav --inst work/*/other.wav --out final.mp3 --scan

卡住了先跑诊断（它会告诉你差在哪一带）：

python scripts/diagnose.py --src 源人声.wav --mine 我的人声.wav

📚 文档地图

| 你想做什么 | 看哪个 |
| 第一次用，想知道要准备什么 | ★ 小肥鱼指南.md |
| 把说话调好（情感/音色/显存） | docs/speaking.md |
| 让桌宠唱歌（五步流程） | docs/sing-pipeline.md |
| 训练自己的 RVC 模型 | docs/sing-training.md |
| 三个模型分别干什么 | docs/三个模型说明.md |
| 把服务接到桌宠 | docs/daemon.md |
| 报错了 | docs/troubleshooting.md |
| 想看实测数据与踩坑 | docs/learned/翻唱实测知识.md |

📐 架构

┌──────────────────────────────────┐
文本 ─────────────────►│ whale_indextts.py │ 情感（8 维向量）───────►│ · IndexTTS2 推理 │──► wav 音色参考 wav ─────────►│ · 情感向量 → emo_alpha 强度 │ └──────────────────────────────────┘ │ ┌───────────────▼──────────────────┐ 桌宠 ──── HTTP ────────►│ whale_tts_daemon.py :7864 │ (WPF / 浏览器) │ · 缓存命中（静态台词 100%） │ │ · 串行锁（防并发吃满内存） │ │ · edge-tts 兜底 │ └──────────────────────────────────┘

🎭 情感是怎么做的

核心思路：把情感作为独立输入，而不是靠参考音频「暗示」。

8 维情感向量

IndexTTS2 接受一个 8 维向量（顺序固定）：

[happy, angry, sad, afraid, disgusted, melancholic, surprised, calm]
开心 生气 难过 害怕 厌恶 忧郁 惊讶 平静

本项目内置 10 种预设（见 scripts/speak.py 的 EMOTIONS）：

| 预设 | 向量 | 听感 |
| tender | happy .20 + calm .40 | 温柔贴耳 |
| happy | happy .55 + surp .10 + calm .15 | 开心 |
| excited | happy .60 + surp .30 | 兴奋 |
| shy | happy .25 + afraid .15 + surp .20 | 害羞 |
| sad | sad .55 + mel .15 | 难过 |
| sleepy | mel .30 + calm .45 | 困困 |
| curious | happy .15 + surp .45 | 好奇 |
| proud | happy .40 + calm .30 | 得意 |
| wronged | sad .35 + afraid .10 + mel .25 | 委屈 |
| neutral | calm .30 | 平静 |

⚠️ 向量会被自动缩放到 ≤ 0.8 —— 单项不要给太大，否则会被压缩掉。

为什么不用 GPT-SoVITS 做情感

踩过的坑：GPT-SoVITS 的情感完全来自参考音频。
我们手头只有「唱歌」素材 → 说话既没起伏、又洗不掉唱腔。

IndexTTS2 把情感独立出来，不再受参考素材情绪限制。

⚡ 8GB 显存优化

RTX 4060 Laptop 只有 8GB，IndexTTS2 默认会 OOM。三个措施：

| 措施 | 参数 | 省显存 |
| 权重加载后移到 GPU | --move-to-gpu | IndexTTS2 默认建在 CPU 上 |
| w2v-bert 用 FP16 | --w2v-fp16 | ~1GB |
| 扩散模型 FP16 | --s2mel-fp16 | 更快（略损质量，默认关）|

tts = IndexTTS2(cfg_path=..., model_dir=...,
use_fp16=True,
use_w2v_fp16=True, # 省 ~1GB
use_s2mel_fp16=False)
tts.to("cuda:0") # 关键：搬到 GPU

🚀 服务化（给桌宠接）

tts_daemon.py 是一个常驻 HTTP 服务：

| 特性 | 做法 |
| 缓存 | tts-cache/idx-{hash(text+emotion)}.wav，静态台词命中率 100%（90/90） |
| 串行锁 | SemaphoreSlim —— 防止多个大模型同时加载吃满内存 |
| 兜底 | IndexTTS2 失败 → edge-tts 在线合成 |
| 按需合成 | 只对动态句（带变量、运行时拼接）才合成 |

启动
python scripts/tts_daemon.py --port 7864

调用
curl -X POST http://127.0.0.1:7864/tts \
-H "Content-Type: application/json" \
-d '{"text":"主人你回来啦~","emotion":"tender"}' \
--output reply.wav

📂 项目结构

whale-voice/
├── README.md
├── LICENSE # MIT
├── requirements.txt
├── docs/
│ ├── speaking.md # 情感 TTS 详解 │ ├── daemon.md # 服务化与桌宠接入 │ ├── engines.md # 引擎选型（IndexTTS2 vs GPT-SoVITS vs edge-tts） │ └── troubleshooting.md # 排错手册 ├── scripts/ │ ├── speak.py # 情感说话（核心） │ ├── tts_daemon.py # HTTP 服务 │ ├── gsv_speak.py # GPT-SoVITS 备选 │ └── emotion_filter.py # 音频层情感后期（edge-tts 兜底用） ├── models/ # ★ 三个 RVC 模型 + 检索索引（自带） └── （音色样本请自备，本仓不附带） my_voice/ └── ref.wav # 你自己录的 3-10 秒干净人声

为什么不自带音色样本：用别人的音色做出来的是别人家的孩子。
录 3-10 秒你自己的声音，跑出来的才是你的桌宠 🐋

🚨 已知限制（诚实说明）

| 限制 | 原因 |
| 输出 22050Hz | IndexTTS2 声码器上限（bigvgan_v2_22khz_80band）—— 改采样率无效 |
| 首次加载 ~250 秒 | 模型较大；之后每句 2~5 秒 |
| GPT-SoVITS 参考音频必须 3~10 秒 | 超过会报错 |
| GPT-SoVITS 的 prompt_text 必须提供 | 为空会导致语速混乱 |

📜 许可与致谢

- 本项目：MIT
- 依赖引擎：IndexTTS2 · GPT-SoVITS · edge-tts
- 音色素材：用户自行提供（本项目不附带任何音色模型）

⚠️ 使用须知：请勿用本项目未经授权模仿他人声音。