梦境自进化 whyareallnamestakenalready/dream-rsi-dsh

面向 DSH 的 Dream-RSI

一个 DeepSeek Harness (DSH) 插件，实现了 Dream-RSI 递归自我改进循环——来自论文 "Dream-RSI: Recursive Self-Improvement through Evolving Worlds"（Tong Zheng 等，UMD College Park 与 Google DeepMind——github.com/zhengkid/Dream-RSI，dream-rsi.com）——把它做成一套预设门控、面向模型的工具界面。

给 DSH 会话一个发现任务（算法工程、优化、kernel……），插件就会把它积累的发现历史变成回放模拟器：候选探索策略会针对记录下来的发现树回放，换取廉价的离策略反馈，表现最好的策略重新部署，循环不断复利。

基准测试结果（n=26 圆填充，AlphaEvolve/OpenEvolve 的示例）： 在 11 轮 campaign、约 250 万次诚实搜索评估中，循环把一个朴素构造器从 0.9598 提升到 2.6359830849——与已发表的世界纪录（Packomania csqv N=26，Haowei Lin / HELIX，ICLR 2026）在 10 位有效数字上完全一致，超过 AlphaEvolve 的 2.635 和 OpenEvolve 的 2.635977。三种方法族（minimax LP 证书、power-diagram 不动点分析、单调归约问题）独立确认该结果是严格局部最优，最终排布与纪录的差异仅在 1e-12 的浮点噪声修复余量内。整个过程：先验舰队结构种子 → 重力/压实盆地变换（同一算子在所有调度下都把旧冠军送回它自己的盆地）→ 修正梯度深度打磨 → 过约束相切图上的接触添加阶梯——而活跃探索策略历经十一次带版本的修订，全部由回放证据选出。完整 campaign 报告：docs/CAMPAIGN-5-CIRCLE-PACKING.md、circle-packing/CAMPAIGN_REPORT_{6..11}.md。

┌──────────────────────────────────────────────────────────┐
│ (outer iteration t) │
│ │
│ ① ONLINE EXPLORE current policy guides the │
│ discovery agent → discovery tree gets logged │
│ │ │
│ ② BUILD SIMULATOR finished tree joins the pool │
│ │ of replay worlds │
│ ③ DREAM M candidate policies replayed │
│ against every world (read-only, ~zero cost); │
│ best challenger wins only if it beats the │
│ incumbent (no-regression guarantee) │
│ │ │
│ ④ REDEPLOY ─────────────┘ t ← t+1, goto ① │
└──────────────────────────────────────────────────────────┘

这套实现的关键特性：

- 插件内部没有 LLM。 插件是确定性的编排层（存储 + 模拟器 + 评分器 + 策略注册表）；调用它的智能体才是策略开发者。探索策略是模型编写、插件解释的小型 JSON DSL（PolicyDsl）。
- 无需 LLM 的离策略估计（RCO）。 新动作（历史中从未记录过）的结果由确定性相似度启发式估算——上下文相似度 → 加权历史结果混合 → 新颖性惩罚 → 悲观弃权先验——置信度低的估算会被排除在质量项之外。
- 预设门控。 七个 dreamrsi_ 工具只对在 Dream-RSI 智能体预设上启动的会话存在。基线组合保持干净。
- 按工作区隔离状态。 每个工作区有自己的 .dreamrsi/ 存储；绝对路径 dataDir 则固定指向一个共享存储。
- 一切都有版本、可审计——发现树、不可变的策略版本、梦境报告，以及 .dreamrsi/ 下的全局事件日志。

你能得到什么

| 工具 | 循环阶段 | 作用 |
| dreamrsi_begin_round | ① 在线 | 开启一轮；返回当前策略（要遵循的 JSON DSL）、限制、历史摘要，以及解析出的存储位置 |
| dreamrsi_log_decision | ① 在线 | 记录一次决策轮：一批尝试 + 实测结果 |
| dreamrsi_end_round | ② 模拟器 | 结束本轮；它的树变成一个回放世界 |
| dreamrsi_history | — | 查询树：最佳路径、失败、子树、轮次、摘要 |
| dreamrsi_dream | ③ 梦境 | 对每个世界回放评分 K 个候选策略；生成带各世界诊断的排名报告 |
| dreamrsi_policy_get | — | 查看当前策略或任意版本的完整记录 |
| dreamrsi_policy_set | ④ 重新部署 | 激活某个版本，或注册 + 激活新 DSL（除非 force，否则有防退化保护） |

预设上的会话还会获得一段人格后缀，用来教授这套工作流，所以模型无需额外提示就知道这个循环。

环境要求

- 一套带 Web 配置档的 DSH 安装（源码检出运行或已安装的命令行）
- Node.js ≥ 22，pnpm ≥ 10（已在 pnpm 11 上测试）
- 不需要 Python（插件是纯 TypeScript；运行时无网络）

安装

方案 A — 安装器（推荐） sh
git clone <this repo> dream-rsi-dsh
cd dream-rsi-dsh
pnpm install
pnpm build

Windows:

powershell -File install.ps1

Linux/macOS:

./install.sh

安装器把 preset/dream-rsi/ 复制到 <dshHome>/.agent-presets/，并把插件条目改写为绝对路径（服务端插件和 Web UI 包都改）。然后：启动 DSH Web，打开新会话预设选择器，选择 Dream-RSI。

- install.ps1 -PrintOverlay / ./install.sh --print-overlay 改为打印一份根目录发现覆盖层（见方案 B）。
- install.ps1 -WithWebUI 还会把 sidebar dashboard 挂载到 web 配置档里（见下方 Web UI panel）。

方案 B — roots overlay（不复制）

把 agent-preset 名单指向本仓库的 preset/ 目录： sh
pnpm dsh web --patch ./examples/cordis.presets-overlay.yml # edit the repo path inside first

baseline 里什么都不挂载；preset 行会相对本仓库解析 ../dist/index.js，所以要保证 dist/ 已构建。preset discovery root 是一个信任决策（trust: system）——只把 roots 指向你信任的目录。

方案 C — 旧版 host mount（高级用户）

通过 cordis.host-mount.yml.example 把插件直接挂载到 host composition。这样会把七个工具塞进每一个会话——不推荐，仅作完整性保留。

升级： preset 副本是快照。拉取代码变更后要重跑安装器（或重新复制 preset/dream-rsi/）；重启服务器会加载插件代码变更（preset 配置改动无需重启即可到达新会话）。

用法

在 Dream-RSI preset 上启动会话，然后交给智能体一个 discovery 任务： text Use the Dream-RSI loop on this task: <your task>. Run one online round with the active policy (dreamrsi_begin_round, batched attempts via dreamrsi_log_decision, dreamrsi_end_round), then dream up 3 improved policies (dreamrsi_dream) and commit the winner with dreamrsi_policy_set if it beats the incumbent on replay.

任何会话（即使没有 preset）也可以直接委派到 preset 上——本仓库配套的 harness 改动让 agent_preset 成为 DSH subagent 工具的可选参数： json { "description": "discovery run", "prompt": "...", "agent_preset": "dream-rsi", "run_in_background": true }

长时间 campaign 建议用后台委派。

Web UI panel

客户端插件（packages/client/ui-dream-rsi/）给 DSH 右侧 Sidebar 加了一个 Dream-RSI campaign dashboard——和 workspace 文件树、文档预览属于同一类界面。它通过 workspace-files pipe 只读读取会话 workspace 的 .dreamrsi/ store，并渲染：

- Champion card——所有轮次里的最佳分数（以及产生它的轮次 + policy）、当前 policy 的 version/name/kind、round/node/dream 总数；
- Progression chart——默认显示 ratio-scale era（可比较的爬升）：ratio 轮次的每次已记录尝试画成散点（x = 全局迭代序号），有效 ratio 尝试上的 Pareto frontier 作为主阶梯线，policy 标记；plotted-range control（from/to iterations，默认全范围，可重置）给图表开窗——窗口内的 frontier 从窗口起点重新开始；旧版 raw-probe 轮次通过「include legacy probes」开关加入（加入后会把 y 轴范围拉大——默认关闭）；每个 subpoint 可悬停查看（round、node、mechanism、score、valid/failClass）；
- 发现森林 —— 把全部累积的发现历史放进一张分带 SVG 视图：所有轮次的每一次尝试（每轮的树各占一带，按时间从左到右排列，带之间有细微分隔线和轮次标签），节点按同一套分数渐变着色，失败的尝试变暗，全局最优路径（每轮最优链拼接而成 —— 冠军血统）从头到尾高亮，冠军节点上带 ★，支持悬停提示，还有轮次筛选（默认 all = 整片森林；选中某一轮则聚焦该轮的树，带最优路径开关和同样的 ★）；
- 策略血统 —— 完整的 v0001 → vNNNN 时间线，含状态、种类和派生关系；
- 轮次表 —— 每一轮的状态、策略、节点数、尝试数、最优分数，只要该轮有树就列出（最新在前，可滚动），每个 Best-score 单元格都标注其目标口径（ratio = sum_radii / 2.635 对比 raw·probe = 旧尺度，阈值 10），并附图例说明 —— 原始值仍然可见，但显然不可直接比较；
- Dream 报告 —— 选中的候选、平均回放分数、有效世界计数、触底/无效诊断（最近 8 条）；
- 事件尾部 —— events.jsonl 的最后几行；
- Refresh 控件（活动运行期间存储会更新），以及工作区还没有 .dreamrsi/ 时的优雅空状态。

用安装器挂载： sh powershell -File install.ps1 -WithWebUI # preset copy + link the package into the web profile + patch insert

或手动操作：把 packages/client/ui-dream-rsi 链接进 web 配置档的 node_modules（在配置档 package.json 里写 "@dreamrsi/dsh-client-ui-dream-rsi": "link:<abs>/packages/client/ui-dream-rsi"，然后在配置档内执行 pnpm install），再把这一行插入配置档的 cordis.patch.yml： yaml
- insert:
- id: ui-dream-rsi
name: '@dreamrsi/dsh-client-ui-dream-rsi'

然后重启 dsh web，从右侧 Sidebar 的 guide 页面选择 Dream-RSI campaign dashboard。

为什么分两个平面： 浏览器启动图由宿主组合的 loader 条目拼成 —— preset 子树对那次扫描是刻意不可见的。preset 里的 ui-dream-rsi 行挂载包的宿主半边（让 preset 保持自描述）；浏览器半边由上面那条宿主平面行提供。面板是只读的：它从不写入存储。

配置

在 preset 行内联设置（preset/dream-rsi/agent.cordis.yml）—— 每个键都可选：

| 键 | 默认值 | 含义 |
| dataDir | .dreamrsi | 存储目录。相对路径每次调用都相对于调用智能体的会话工作区解析；绝对路径则固定指向同一个共享存储 |
| candidateCount | 3 | K —— 每次 dream 智能体应提出多少个挑战者策略 |
| maxOnlineRounds | 16 | K₁ —— 每个在线轮的决策轮上限 |
| maxReplayRounds | 64 | K₂ —— 回放期间每回合的决策轮上限 |
| beta1 / beta2 | 0.01 / 0.05 | 回放目标（Eq. 1）的成本 / 并行度系数 |
| normalizeScores | true | 在每个 world 内做 min–max 分数归一化 |
| policyEngine | 'code' | v0.2 — 以代码策略（solve(view) Python 模块）为主；'legacy' 则保留 v0.1 的 JSON DSL 解释器为主。两种引擎都能重放两类记录 |
| autoDream | 'every-cycle' | v0.2 F4 — dreaming 是每个 cycle 的必经阶段：dreamrsi_end_round 自动运行改进阶段。'on-stagnation' 只在某轮未能提升最佳分数时才 dream；'off' 保留 v0.1 行为 |
| trajectoryCap | 20 | dream 报告中每个 candidate × world 轨迹摘要记录的最大步数（F2 的 Listing 2 payload） |
| policyEpisodeTimeoutMs | 30000 | 每次针对代码策略重放 episode 的墙钟预算；超时 → 终止 + episode 无效 |
| devLoop | 'agent-relay' | v0.2 F2 — 策略开发循环。'agent-relay'：dream 报告携带轨迹摘要，由 HOST AGENT 编写并提交 candidate（dreamrsi_policy_set { code }）。'host-llm'：框架用逐字照搬的 Listing 2 提示词 + 轨迹 payload 调用配置好的 LLM，并重放解析出的 candidate（论文形态；需要组合好的 ctx.llm 路由，没有则 fail-soft 回退到 agent-relay） |
| poolSize | 32 | host-llm 循环每个 cycle 生成的 candidate 池大小 |
| maxLlmCallsPerCycle | 3 | 每个 dreaming cycle 的 LLM 调用预算（host-llm 循环） |
| llmRoute | — | 显式 { provider, model } 覆盖；未设置 → 用部署的默认路由（第一个注册的 provider + 第一个列出的 model） |
| similarityThreshold, similarityTemperature, similarityGamma | 0.35 / 0.25 / 2 | RCO 估计器相似度整形 |
| estimatorMaxAnalogues / estimatorMinAnalogues | 5 / 3 | 为新动作估计混合的 top-k 已记录类比 |
| similarityFloor, hallucinationTau, noveltyLambda, confidenceMediumTau | 0.1 / 0.18 / 0.25 / 0.45 | 新颖性惩罚、弃权先验、置信度阈值 |

代码策略（v0.2）

策略是 Python 模块，暴露论文中的共享决策接口： python def solve(view: dict) -> dict: """
view: { roundId, decisionRound, limits: {maxRounds K1, maxParallelism W},
selectable: [node summaries — root + current leaves, with state,
action history, scores, deltas, sibling counts],
history: { rounds, totalNodes, bestScoreOverall, bestMechanisms,
knownDeadEnds, score scale } }
returns: { batch: [nodeId, ...] (<= W, legal), stop: bool, notes: str }
"""

- 执行走 harness 的 ctx.subprocess 接缝：python -I （隔离解释器，清理过的 env，argv 从不经 shell 解释），用管道 stdin/stdout 承载 JSON-lines 决策协议 —— 引擎在每个决策轮发送树视图，策略回答一批，引擎再按论文的 Child() 规则揭示已记录的子节点。
每个候选一个子进程；一次 dream 运行的每个 world 都在那一个进程里执行（性能门槛：在开发笔记本上 32 个候选 × 10 个 world ≈ 6.4 s —— bench/perf-gate.ts）。
- 沙箱姿态：按 episode 超时（配置 policyEpisodeTimeoutMs，abort + terminate()），解释器隔离，线路上不传 harness 状态。策略代码是受信任的配置（与预设组合所依据的信任相同）；文档记录的残余风险是，在 Windows 上普通 spawn 并不是文件系统/网络牢笼。
- 引导：全新 store 自带 policies/v0001.py —— v0.1 bootstrap-balanced DSL 的确定性移植（W=4，grid 3×3，beta 0.6，portfolio 0.5/0.5 + 1 recovery）—— 所以每个 store 一开始就是 paper 形态。
- 旧版共存：policy 记录带 kind: 'dsl' | 'code'；v0.1 JSON-DSL 解释器为现有 store 保留（policyEngine: 'legacy'），两种表示都通过同一套 Eq. 1 评分、批量校验（≤ W，仅可选，不允许 parent+child）和选择守卫回放。

Nsight 内核基准测试（dreamrsi_nsight_bench）

第八个工具封装 NVIDIA Nsight Compute（ncu --csv），让 discovery 智能体用真实 profiling 信号对 CUDA 内核做基准测试 —— GPU 时长、DRAM 流量、SM 吞吐率、占用率 —— 而不只是墙钟时间。这契合 KernelBench 领域（论文领域 3）：优化目标包含硬件级效率，而朴素的计时器测不出来。

用法：传入 kernel-runner 命令（例如 python bench_kernel.py）；工具运行 ncu --csv --metrics <set> --target-processes all <command>，解析 CSV 报告，返回按内核聚合的结果（launch 次数、duration µs 均值/最小/最大、DRAM 字节均值、SM 吞吐率 % 均值、occupancy limit 均值、grid/block 尺寸）以及总时长和 launch 次数。

默认指标集：gpu__time_duration.sum、dram__bytes.sum、sm__throughput.avg.pct_of_peak_sustained_elapsed、launch__occupancy_limit_blocks、launch__grid_size、launch__block_size。用 metrics 参数覆盖。

要求：系统 PATH 上有 ncu（Nsight Compute）或在插件配置里显式钉住 nsightNcuPath（工具参数 ncu_path 也能按次覆盖）+ 支持 CUDA 的 GPU。子进程接缝的净化 PATH 不包含 Nsight Compute 目录，所以工具在执行时解析可执行文件：先在完整系统 PATH 上 where ncu（优先 ncu.exe 而非 ncu.bat 包装器 —— argv 从不经 shell 解释），然后是常见安装位置（C:\Program Files\NVIDIA Corporation\Nsight Compute \…，包括 2025.x 嵌套的 target\windows-desktop-win7-x64\ncu.exe 布局），spawn 解析出的绝对路径。工具绝不会让 cycle 崩溃 —— 每种失败模式（ncu 缺失 → 给出列出已搜索位置的指引、目标非零退出、没有内核启动、超时）都以干净的错误或诊断信息。当 ncu 可用时，会运行系统级集成测试。

数据模型

.dreamrsi/
config.json # 生效的插件配置 trees/<roundId>/nodes.jsonl # 发现树：每次尝试一条不可变记录 trees/<roundId>/round.json # 轮次元数据（策略版本、状态、统计） policies/policy-index.json # 版本索引（kind: dsl|code）+ 活动指针 policies/vNNNN.json # 不可变策略记录（血缘 + 评估） policies/vNNNN.py # v0.2 代码策略：Python solve(view) 源码 policies/.runner.py # 随包发布的 JSON-lines 运行器，供代码策略使用 dreams/dNNNN.json # 做梦运行：候选、各世界得分、轨迹、选择结果 events.jsonl # 只追加的审计日志，记录每一次变更

节点记录是完整的 (state, action, outcome) 元组，带血缘信息。树只有一个根，分出许多分支；每条分支都是一条一元细化链——正因如此，论文里的回放转移才既廉价又确定。

架构

src/
index.ts Cordis 插件：name/inject(['tools','subprocess'])/apply、Schemastery 配置、接线 types.ts 领域类型（NodeRecord、RoundRecord、PolicyView、PolicyRecord{kind} 等） store.ts .dreamrsi/ 持久化、树不变量、策略注册表（dsl + code） replay.ts ReplayWorld：Child() 揭示规则、RCO 离策略估计器 dreaming.ts DSL 校验 + 旧版解释器、代码策略驱动、Eq. 1 做梦循环、选择 policy-runtime.ts v0.2 F1：python -I JSON-lines 策略子进程（spawn/超时/格式错误处理） bootstrap-policy.ts 内置引导代码策略（v0001.py 源码）+ 运行器源码 engine.ts 门面：begin/log/end (autoDream)/history/dream/policy 操作 tools.ts 面向模型的七个工具定义 dsh-ambient.d.ts DSH 运行时接口的纯类型镜像（用于独立类型检查） bench/perf-gate.ts v0.2 F4 规模门禁（poolSize × worlds 墙钟时间） preset/dream-rsi/ 智能体预设（完整标准装配 + 插件行 + 工作流人设） packages/client/ui-dream-rsi/ Web UI 面板插件（浏览器侧：侧边栏 campaign 仪表盘） tests/ Vitest 测试套件（引擎、工具、预设形态、按工作区隔离、代码策略协议、真实校验器回归护栏） docs/DREAM-RSI-SPEC.md 从论文提炼的实现级规格说明 docs/ROADMAP-v0.2.md v0.2 忠实于论文的升级提案（F1–F4）

本包可以独立通过类型检查（用 ambient 类型镜像顶替 @deepseek-ai/cordis、@deepseek-ai/dsh-tools、@deepseek-ai/schemastery）；在 DSH 内部则由真实模块提供运行时。

开发 sh
pnpm install
pnpm typecheck # strict tsc --noEmit
pnpm test # vitest
pnpm build # dist/ (ESM, relative import extensions rewritten)

tests/dsh-schema.spec.ts 用真正的 DSH schema 校验器验证全部七个工具——它防的那类 bug（未声明的输出属性）单靠 typecheck 是看不出来的。这个测试需要链接 harness 包，包不在时会自动跳过；详见测试文件头部。

与论文的偏离是刻意为之，并且有文档记录：策略用 JSON DSL，而不是任意 Python；新动作的结果来自确定性的 RCO 估计器，而不是 LLM 裁判。两者都让循环保持完全确定性、可测试。见 docs/DREAM-RSI-SPEC.md（§10 简化）和 docs/TESTING.md。

致谢与许可

- Dream-RSI — Tong Zheng, Xidong Wu, Zheng Zhang, Zhankui He, Chaoyi Zhang, Benjamin Coleman, Ruoqiao Wei, Di Bai, Haolin Liu, Rui Liu, Xue Wang, Yue Zhuan, Wang-Cheng Kang, Renkai Xiang, Heng Huang, Xinwu Cheng, Yunsong Guo（University of Maryland、Google DeepMind、University of Virginia）。
- 本仓库是独立社区实现，把论文方法做成 DSH 插件；与论文作者无关。
- MIT — 见 LICENSE。