提供方故障转移 HB00/dsh-llm-failover

dsh-llm-failover

为 DeepSeek Harness（dsh）提供提供方故障转移：当模型提供方返回限流（429）或配额耗尽错误时，自动切换到下一个提供方——支持按提供方配置模型映射、永久最终兜底，并在界面显示切换提示。

模型提供方故障转移插件：遇到限流（429）或配额耗尽时，自动切换到下一个提供方——支持按提供方配置模型、永久最终兜底，并在界面显示切换提示。

Features / 功能

- 遇到 RATE_LIMIT / QUOTA 失败自动切换，可配置重试阈值（fallbackAfterRetries）。/ 遇到限流/配额错误自动切换，可配置切换前连续失败次数。
- 按提供方配置模型映射——切换后的提供方可以使用不同模型。/ 每个提供方可单独指定切换后使用的模型。
- 按提供方冷却（cooldownMs）：处于冷却的提供方会被跳过，直到恢复。/ 提供方冷却机制：冷却期间直接跳过，到期自动恢复。
- 提供方列表最后一条是永久兜底，永远不会被切走（不会陷入重试循环）。/ 列表最后一条是永久兜底，永远不会被切走（不会死循环）。
- 每次切换都在界面显示提示条（自动消失）。/ 每次切换在输入框上方显示提示条（自动消失）。
- 在 设置 → 插件 → 插件配置 中提供配置卡片。/ 设置 → 插件 → 插件配置 页面卡片直接配置。

Install / 安装

dsh plugin --profile web add dsh-llm-failover

Configuration / 配置

可以用设置界面的卡片，也可以编辑 ~/.dsh/settings.yaml：

llm-failover:
enabled: true # master switch / 总开关 providers: # tried in order; last one is the fallback / 按顺序尝试，最后一条是兜底
- provider: huoshan # provider key from your llm-pi-ai / llm-deepseek config
model: deepseek-v4-flash # optional: model to use after switching / 可选：切换后使用的模型
- provider: huoshan2
model: deepseek-v4-flash
- provider: deepseek-official # permanent fallback, never switched away / 永久兜底 model: deepseek-v4-flash fallbackAfterRetries: 2 # consecutive failures before cooldown+switch / 连续失败几次后冷却并切换 cooldownMs: 60000 # cooldown duration in ms / 冷却时长（毫秒）

How it works / 原理

挂到官方智能体的两个 waterfall 上：

- agent/request —— 请求时按配置顺序挑出第一个未冷却的提供方（返回新的配置对象；种子配置被深度冻结）。
- agent/request-error（前置，这样能在 dsh-llm-retry 之前统计失败次数）—— 连续 fallbackAfterRetries 次 RATE_LIMIT/QUOTA 失败后，冷却该提供方并返回 { kind: "retry" }；列表最后一条永不切换。

配置卡片与插件自有的 /llm-failover RPC 通道通信（官方设置 RPC 只服务白名单内的命名空间）；写入走标准设置服务——经过 schema 校验并持久化到 settings.yaml，无需重启即可生效。

License

MIT