模型限流器 Clawz1N1N/dsh-rate-limit

dsh-llm-model-rate-limit

按模型限制 DeepSeek Harness 的请求数和 token 数——让智能体始终待在服务商限额之内，不会被 HTTP 429 打断。

功能说明

每个模型（provider/model）都有自己独立的预算，覆盖四个滚动窗口——秒、分钟、小时、天——分别限制请求数和 token 数。模型达到限额时，智能体不会停下，也不会报错：请求进入 FIFO 队列等待，期间不消耗 token；窗口一空出来，单个定时器立刻唤醒它，原样发出请求。服务商返回 429/503 时，按 Retry-After 或带抖动的退避重试，绝不会变成致命错误。

| Control collapsed — no limits yet | Menu expanded with per-window limits |

位置

输入框工具栏在模型选择器前面显示一个小 ⏱ 触发器。点它打开当前会话模型的限额菜单。用 +/− 展开 Request limit 或 Token limit，填入每秒 / 每分钟 / 每小时 / 每天的值。0、空字段或 unlimited 表示不限；token 字段支持 k/m 后缀（如 500k）。按 Enter 或失焦即提交。

模型等待容量时，触发器显示 ⏸ 和倒计时（4 s · 11 111/s）。改动立即生效——无需重启。

按模型

限额只属于一个模型。菜单头部有模型选择器，列出所有已设策略的模型，以及会话目录中出现的所有模型，因此你可以给当前未选中的模型设限额。

级联

有界窗口必须保持非递减：second ≤ minute ≤ hour ≤ day。调高较小的窗口，会抬高它下面所有有界窗口；调低较大的窗口，会压低它上面所有有界窗口。把字段设为不限不会影响其他字段。

空闲模式

超限请求按到达顺序排队，不消耗 token，只为容量释放的那一刻设置一个定时器。同一个请求原样自动恢复——无需用户操作。比整个窗口还大的请求要等窗口清空，菜单和日志里会标出。取消会清理定时器；工具和非模型工作不受影响。

持久化与配置

限额保存在配置档的 cordis.patch.yml 中，id 为 model-rate-limit；计数器原子地写入 $DSH_PROFILE_DIR/.dsh/model-rate-limit/state.json，每个活跃秒一行。配置里没有的模型视为不限，只花一次 map 查找——不设定时器、不写计数器、不读时钟。

安装

从插件管理器安装 bundle dsh-llm-model-rate-limit（指向本仓库）。加载客户端 bundle 需要重启配置档；在此之前插件管理器显示 Installed — restart to apply。

验证

130 个测试（级联、窗口边界、FIFO/空闲队列、429 恢复、持久化与时钟跳变、HTTP 接口、mock 服务商），lint 和 typecheck 均通过。

限制

- 限额只在进程内生效；同一服务商账号上跑多个 DSH 进程，彼此不共享预算。
- 计数器按滚动窗口统计，不是持久账本——两次刷写之间崩溃，最多丢失一个刷写间隔的计数。
- 别名模型 id 按独立模型处理。