强化学习微调 xiciyang/training-rl

@xiciyang/training-rl

强化学习微调（RL）：在真实 GPU 上训练，奖励适配器可替换；并对「收益是真的」「KL 没失控」「同一套判据只有一份实现」分别取证。

DSH（DeepSeek Harness）插件包，同时可作为普通 Node 库使用。

它解决的问题

RL 阶段最容易自欺的三件事：

1. 奖励涨了但没意义——奖励是实现里的常数，或者前后对比没有显著性。本包把奖励规则固定成可复算的向量，验收时先判差异是否成立。
2. KL 漂移——策略跑飞而 loss 好看。本包按预算记账，越界的 run 直接判失败。
3. 判据多份实现——训练侧、验收侧各写一份门禁逻辑，改一处忘另一处。本包的判据来自共享库（@xiciyang/testing-core），不在插件内重写。

安装

dsh plugin add github:xiciyang/training-rl

要求：

- Node.js >= 20，engines.dsh >= 0.2.0 < 0.3.0
- 真实训练需要 NVIDIA GPU + 容器运行时 + 训练镜像；training_rl_health 会逐项报告
- 奖励适配器可插拔：内置一份契约（contract.json），也可以指向自己的实现

工具面（DSH）

| 工具 | 作用 |
| training_rl_prepare | 数据/提示集准备，奖励向量与契约落盘 |
| training_rl_train | 训练：预算闸门、KL 记账、权重指纹、checkpoint 保留、审计链 |
| training_rl_validate | 验收：收益显著性 + KL 在预算内，先判测量有效性再判数值 |
| training_rl_rollback | 回退到指定 run；purge 只允许删本插件 run 目录 |
| training_rl_get_report | 取人类可读报告 |
| training_rl_health | 环境自检：GPU / 容器 / 镜像 / 基座 / 奖励适配器 |

配置（不把本机布局写死）

| 环境变量 | 用途 |
| DSH_BASE_MODEL | 基座模型本地目录（同时是 KL 锚点的 reference） |
| DSH_MMLU_PATH | 评测数据路径（可选门禁） |
| TRAINING_RL_ROOT | 运行目录根（默认 ~/.ai-infra） |

奖励模型/偏好数据缺失时，工具会说明缺哪一层并拒绝开跑，而不是用「没有奖励模型」跑出一轮看似成功的训练。

测试

node tests/run.mjs

纯逻辑与契约测试应全绿；依赖本机历史产物的判据自检在产物缺失时显式 SKIP 并写明原因。

安全边界

- 训练需显式确认令牌；预算超限直接拒绝
- 回退只作用于本插件自己的 run 目录
- 审计链可第三方复算

许可

BSD-3-Clause。见 LICENSE。