世界模型工坊 WayneJin0918/dsh-wm

DSH-WM

MIT
DSH
Node

给 DeepSeek Harness 用的可玩世界模型工具箱——看条带、认路线、给 run 打分、迭代研究闭环。

把 agent 指到一次 rollout（或直接 fixtures/sunset）再问：后半段是不是融化了、Sora 算不算世界模拟器、哪种 memory 配方才有资格赢。

🚀 一行命令安装 ｜ 不用 GPU 就能玩 sunset ｜ 内置 WM 地图 ｜ 对 skill / eval 做 RSI

🌐 English | 中文

在 DeepSeek Harness 里做世界模型，最好玩的状态是：agent 能看见条带、叫出路线、量到声称。DSH-WM 就是这块 profile bundle：接触图看帧、对照页（并排 / 滑杆 / 差异热力 + action HUD）、三条路线知识（3D 显示 / Pixel Video Gen / Latent Prediction）、run 打分，以及作用在 skill 和 wm.yaml 上的 RSI。

dsh plugin --profile wm add github:WayneJin0918/dsh-wm
dsh --profile wm

然后试一句：分诊 fixtures/sunset。看 first / mid / last。是后半段崩了吗？

运行时： deepseek-ai/deepseek-harness

目录

- 30 秒就能玩
- 亮点
- 三条路线
- 适合谁用
- 快速开始：三步完成
- 常见任务
- 工具一览
- 用 Harness 做 RSI
- 致谢

30 秒就能玩

fixtures/sunset 是 8 帧玩具条带。前半 pred 还是暖色、贴近 GT；后半被抹成冷蓝，late-horizon collapse 一眼能看出来。不需要 checkpoint、集群或 GPU。

node cli.js inspect fixtures/sunset --indices first,mid,last
node cli.js view fixtures/sunset
node cli.js diff --pred fixtures/sunset/pred --gt fixtures/sunset/gt
node cli.js diagnose "Sora 算世界模型吗"
node cli.js knowledge --id wm-routes

wm_inspect 会打出终端里就能读的亮度草图：

pred #0 luma=148.7 low contrast, warm / orange

##**
pred #7 luma=62 near-uniform, cool / blue

gt #7 luma=160.4 low contrast, warm / orange
**#############

同一条带上的 wm_rollout_diff 会报后半段 SSIM 下降，并把 4–6 帧标成最差窗口。需要自己拖 pred vs GT 时用 wm_view。先看、再打分、再打开一张卡片。

亮点

- 装上就能玩。 官方 DSH bundle，纯 JavaScript，没有 prepare / allowBuilds。没开 Harness 也能用 node cli.js 跑 sunset。
- 看图就在本仓库里。 wm_inspect 抽 first / mid / last（或指定下标），写出接触图，并返回亮度草图和颜色 / 对比度 look。
- 对照页自己拖。 wm_view 写出一份自包含 HTML：并排、滑杆叠图、差异热力图、SSIM 时间轴；有 actions.json 时还有 action HUD。
- 先认路线。 3D 显示、Pixel / Video Gen WM、Latent Prediction 是三场不同的考试。wm-routes 再进 display-3d / pixel-wm / latent-wm。
- 一次 run 是一个目录。 可选 wm.yaml 声明 pred / gt / log / metrics / actions；没有清单就启发式；认不出就返回候选和警告，不编路径。
- 有 run 就测量。 wm_discover → wm_summarize → wm_rollout_diff → wm_inspect → wm_view 给出 layout、log、数字、观感和一张能拖的页。
- 内置 WM 知识。 chunk-AR、memory、KV、exposure bias、revisit、消融、action following、cache eviction、Harness 上的 RSI。先 wm_knowledge / wm_diagnose，再谈新结构。
- RSI 作用在 harness 层。 skill wm-rsi 用 DSH trajectory、fork、Creator 和 sunset 去演化 skill、wm.yaml 和评测备注。
- Skill 把游戏规则说清楚。 分诊、知识、RSI、公平消融、revisit。
- 起步不需要 GPU。 rollout 分数是纯 JS 亮度 SSIM + MSE。视频要 ffmpeg；PNG/PPM 目录可以完全离线。

三条路线

「世界模型」这个词其实是三场研究游戏。卡片对照 Awesome World Models 的地图。设计 backbone 之前先打开 wm-routes。

| 路线 | 卡片 | 在预测什么 | 「好」长什么样 | 场上常说的梗 |
| 3D 显示 | display-3d | 能飞进去的几何（mesh、Gaussian、occupancy、4D） | 空间一致、可探索的场景 | 一致性是买来的；fly-through 在摇杆生效前只是展示 |
| Pixel / Video Gen WM | pixel-wm | 下一帧像素（常带 action） | 还听摇杆的交互条带 | 「Sora 是世界模拟器吗？」；好看片 + 不听杆；Self-Forcing / 后半融化 |
| Latent Prediction | latent-wm | 下一个紧凑状态（RSSM、JEPA、DINO） | 在梦里做规划和控制 | 别给每个像素付 loss；解码出来的视频只是投影 |

回程忘了房间：像素条带上是 revisit-eval，3D 场景上是 pose / occupancy，JEPA / Dreamer 上是 latent mismatch。先认路线，再测量。

node cli.js knowledge --id display-3d
node cli.js knowledge --id pixel-wm
node cli.js knowledge --id latent-wm
node cli.js diagnose "Gaussian 可探索 3D"
node cli.js diagnose "JEPA latent Dreamer"

适合谁用

| 你想做的事 | DSH-WM 给你的 |
| 没有集群也想玩一次 rollout | sunset + 笔记本上的 wm_inspect / wm_rollout_diff |
| 看清这次 run 目录里有什么 | wm_discover：layout、路径、帧数、警告 |
| 把 log 尾变成下一步实验 | wm_summarize：last loss / NaN / 早停 + 3 条假设 |
| 给「看起来更差」一个数字 | wm_rollout_diff：mean/min SSIM、曲线、最差帧、诊断 |
| 看那些最差帧 | wm_inspect：接触图、亮度草图、每块 look |
| 自己拖 pred vs GT，看杆有没有跟上 | wm_view：并排 / 滑杆 / 热力、action 箭头、followed / dropped |
| 把论文放到地图上 | wm-routes → display-3d / pixel-wm / latent-wm |
| 消融说得过去 | wm-ablation：先成对 (scene, protocol, seed) 和 failure 率 |
| 讨论「有没有回家」 | wm-revisit：几何 vs 帧相似度代理 |
| 让 agent 更会 debug WM | wm-rsi：一条声称、一张卡片、一次测量、一处 skill / wm.yaml 改动 |

快速开始：三步完成

1. 安装

装进专用研究 profile：

dsh plugin --profile wm add github:WayneJin0918/dsh-wm

Web / Headless 也可以：

dsh plugin --profile web add github:WayneJin0918/dsh-wm
dsh plugin --profile headless add github:WayneJin0918/dsh-wm

本地 checkout（路径安装不需要 GitHub 权限）：

dsh plugin --profile wm add /path/to/dsh-wm

包是纯 JS。从 git 安装不需要 pnpm allowBuilds。想钉死版本就写：github:WayneJin0918/dsh-wm#。

2. 重启并确认

dsh --profile wm --dump-config # 应出现 "# == dsh-wm"
dsh --profile wm

Web profile 加完 bundle 后请重启，并开一个新 session，让 skill 目录重新加载。

3. 问一句你会真的问出口的话

分诊 fixtures/sunset。失败点是什么，是不是后半段崩了？
看 first / mid / last——后半段像素在干什么？
Sora 是世界模拟器，还是还得过摇杆考试的 Pixel WM？
回程忘了房间——哪种 memory 配方才有资格上？
这两个 run 说 memory 赢了——scene/protocol/seed 对齐了吗？
用 Harness RSI 收紧 revisit skill；sunset 当门禁。

常见任务

| 任务 | 推荐工作流 |
| 前五分钟 / 没有 GPU | inspect sunset → diff → diagnose 一个你在意的问题 |
| 训练或评测 run 看起来不对 | wm-run-triage → discover → summarize → diff → inspect → view |
| 这篇论文是哪条 WM 路线？ | wm-routes → display-3d / pixel-wm / latent-wm |
| 「该用哪种 memory？」 | wm-knowledge → chunk-ar / memory-types / kv-memory → 再测量 |
| 后半段融化，train loss 还很健康 | wm_diagnose → exposure-bias → scheduled sampling |
| 哪个 cache / memory 配置赢了 | wm-ablation → 成对 n 和 failure 率 → 均值差 |
| 相机有没有回来 | wm-revisit → 整段 diff → 没有 pose 才用首尾帧 |
| 改进研究闭环本身 | wm-rsi → Creator / trajectory → 改一处 skill 或 wm.yaml → sunset 门禁 |
| 离线 CI / 没有 API key | node cli.js knowledge / diagnose / discover / diff / inspect / view |

工具一览

三类可以在同一次 session 里组合：

| 类别 | 工具 | 职责 |
| 测量 | wm_discover、wm_summarize、wm_rollout_diff、wm_inspect、wm_view | 目录、log、pred vs GT 数字、看帧、对照页 |
| 知识 | wm_knowledge、wm_diagnose | 路线 + 技术卡片，症状 → 下一步 |
| 迭代 | skill wm-run-triage、wm-knowledge、wm-rsi、wm-ablation、wm-revisit | 诚实评测和 harness 层 RSI |

| 工具 | 最适合解决的问题 | 主要结果 |
| wm_discover | 「这个 run 目录里有什么？」 | layout、pred/gt/log/metrics、帧数、警告 |
| wm_summarize | 「训练真的跑完了吗，下一步测什么？」 | last loss / NaN / 早停、指标键、3 条假设 |
| wm_rollout_diff | 「pred 相对 GT 漂在哪？」 | mean/min SSIM、曲线、最差 3 帧、诊断 |
| wm_inspect | 「first / mid / last / 最差帧长什么样？」 | 接触图、亮度草图、颜色 / 对比度 look |
| wm_view | 「让我自己拖 pred vs GT，看 action 跟没跟上。」 | HTML 对照页 + pred / gt / 热力接触图 |
| wm_knowledge | 「哪条路线 / chunk-AR / KV / RSI 是什么？」 | 目录或一整张技术卡片 |
| wm_diagnose | 「一回来就忘了——然后呢？」 | 卡片 id + 下一步工具 / skill |

rollout 分数是 亮度 SSIM + MSE。看条带用内置的 wm_inspect；对照和 action 用 wm_view。

知识卡片

路线： wm-routes · display-3d · pixel-wm · latent-wm

技术： chunk-ar · memory-types · kv-memory · exposure-bias · revisit-eval · ablation-protocol · action-following · cache-eviction · rsi-harness · diagnosis-map

node cli.js knowledge
node cli.js knowledge --id wm-routes
node cli.js knowledge kv memory
node cli.js knowledge --id rsi-harness
node cli.js diagnose "Sora 算世界模型吗"
node cli.js diagnose "第一个 chunk 之后后半段崩了"

Skills

- wm-run-triage — 走完一次 run：discover → summarize → diff → inspect → view，再给失败点起名
- wm-knowledge — 设计前先打开路线或技术卡片
- wm-rsi — 一条声称、一张卡片、一次测量、一处 skill / wm.yaml 改动、sunset 门禁
- wm-ablation — 先成对 scene / protocol / seed 再报均值
- wm-revisit — 几何回环 vs 帧相似度代理

用 Harness 做 RSI

DeepSeek Harness 已经提供 append-only trajectory、fork/replay，以及 Creator mode（查看正在跑的插件树）。DSH-WM 把这套能力对准世界模型的过程：

1. 写下一条可证伪的声称。
2. 打开 wm_knowledge（rsi-harness + 对应技术；路线不清时先 wm-routes）。
3. 测量（wm_summarize / wm_rollout_diff）并看图（wm_inspect / wm_view）。
4. 只改 一处 skill、wm.yaml 字段或评测备注。
5. 用 fixtures/sunset（必须仍报 late-horizon drop）和用户的成对场景做门禁。
6. 固化或回滚；保留 session。

可重复的核心是数字和卡片。

wm.yaml

name: sunset-revisit
pred: outputs/pred # 帧目录或 mp4 gt: outputs/gt log: logs/train.log metrics: metrics.json # 任意 JSON；只做 key 摘要，不校验 schema actions: actions.json # 可选；给 wm_view 画每帧控制

没有这份文件时，插件会找 pred|preds|recon、gt|target|ref、train.log / logs/.log、metrics.json / eval.json，以及 actions.json。

工作原理

flowchart LR
play[提问或指向一次 run] --> know[wm_knowledge / wm_diagnose]
know --> measure[wm_discover / summarize / diff / inspect / view]
measure --> rsi[wm-rsi 改 skill 和 wm.yaml]
rsi --> gate[sunset fixture 加成对场景]

三层，一次 session：

1. 知识 — 先认路线，再打开技术卡片。
2. 测量 — 读文件系统的工具，加上 wm_inspect 和 wm_view。
3. RSI — 演化研究闭环，并通过 sunset 门禁。

离线 fixture

fixtures/sunset 是内置游乐场。pred 的 0–3 接近 GT，4–7 被抹掉，所以后半段 SSIM 下降。

npm test
npm run check
node scripts/generate-fixtures.js # 改完画图逻辑后重新生成

配置与限制

运行要求

- DeepSeek Harness 0.1.0-rc.6 或兼容版本；dsh plugin 需要 PATH 上有 pnpm。
- Node.js 18+。
- JPEG / 视频需要可选的 ffmpeg。PNG/PPM 帧目录可以完全离线。

安装、升级、禁用和卸载

dsh plugin --profile wm update github:WayneJin0918/dsh-wm
dsh plugin --profile wm remove dsh-wm

临时禁用时，在 profile patch 里写：

- id: dsh-wm
disabled: true

启用或升级后请重启 profile。

常见问题

| 问题 | 处理方式 |
| --dump-config 里没有 # == dsh-wm | 从 checkout 或 github:WayneJin0918/dsh-wm 重新 dsh plugin --profile wm add；确认 PATH 上有 pnpm |
| git 安装 404 或要登录 | 确认仓库已公开：github:WayneJin0918/dsh-wm；或改用本地路径安装 |
| 提示 pred not found | 补一份 wm.yaml，或给 wm_rollout_diff 显式传 pred / gt |
| 视频 / JPEG 被拒绝 | 安装 ffmpeg，或先抽成 PNG 帧 |
| agent 不调工具就下结论 | 先加载 wm-run-triage 或 wm-knowledge；没有 layout / 没有卡片就没有结论 |
| agent 对着聊天发明 KV 方案 | wm_knowledge --id kv-memory 再走 wm-rsi；先打开卡片 |
| 把首尾 SSIM 当成 loop closure | 加载 wm-revisit；没有 pose 时那个数字只是代理 |
| 「RSI」开始改训练代码 | 先停一下。wm-rsi 改的是 skill / wm.yaml / 评测备注，除非用户打开了训练任务 |

开发

npm test
npm run check

- 版本变化见 CHANGELOG.md。
- Bug 和功能请求请开本仓库的 GitHub Issues。

致谢

DSH-WM 建立在这些上游之上。感谢作者，以及他们让插件和地图可以复用的格式。

- DeepSeek Harness（dsh）——本 bundle 安装进去的官方运行时。文档：deepseek.com/harness。
- DSH Vision Toolkit，作者 Anionex，以及 agent-vision-toolkit——感谢开源插件，以及本页写作时参考的 主页。
- Awesome World Models——内置三条路线卡片所对照的 3D / pixel / latent 地图。

许可证

MIT