视觉交互世界工具 gotoanywhere2021/dsh-vista-visual-harness

dsh-vista-visual-harness

一个 DeepSeek Harness 宿主插件，实现 VISTA: A Visual Harness for Reasoning in an Interactive World （Han、Hu、Qiu、Wu、He — MIT）中的 VISTA 视觉 harness。

它为智能体提供交互式桌面世界里的长程视觉：每次观察都无损归档，模型可以重新关注任意早期帧，或放大任意区域，可以测量精确的像素颜色，并且每轮只执行一个输入动作，先观察结果，再做下一次决策。

原生插件动作结果

一句话讲清思路

论文的消融实验（同一骨干模型 GPT-5.6 Sol）表明，正是 harness 释放了模型的能力：文本网格基线 13.33 RHAE → PNG 观察 47.32 → 连续对话/压缩 65.82 → GUIDE.md/WORKING.md 笔记 70.05 → 无损视觉记忆 + 模型主导的 inspect 94.10 → read_pixels 精确读数 99.00。换成 Claude Opus 5.0，完整 harness 在全部 25 个公开 ARC-AGI-3 游戏上拿到 100.00，动作数比首次游玩的人类少 57.4%。本插件把这套 harness 做成原生 DSH 工具，模型不必再把世界序列化成文本，也不会丢掉已经看到的证据。

工具

| 工具 | 作用 | 返回 |
| vista_start | 在窗口 / 屏幕 / 屏幕区域 / 静态图像上启动一次运行；归档第一次观察 | 图像 + 运行路径 |
| vista_observe | 不执行动作，再归档一轮（连拍可以抓到动画帧） | 图像 |
| vista_inspect | 取回任意已归档的轮次/帧，裁剪任意区域并放大；多个视图可以叠成一张带标注的拼图 | 图像 |
| vista_read_pixels | 把区域切成 rows × cols 个单元格；报告调色板、每格索引、精确 RGB 和混合格 | JSON |
| vista_play | 执行恰好一个动作（点击 / 按帧坐标点击 / 组合键 / 输入 / 移动 / 滚动 / 拖拽），然后归档产生的轮次 | 图像 |
| vista_notes | 读写 GUIDE.md 和 WORKING.md，保存压缩检查点，打印交接包 | 文本 |
| vista_history | 动作事件、按重置切分的尝试摘要，或已归档帧索引 | JSON |
| vista_status | 当前运行摘要 | JSON |

GUIDE.md 存放持久、可修订的理解；WORKING.md 存放当前状态、正在验证的预测，以及压缩交接内容。只有一轮的最后一帧会自动展示，其余全部留在无损归档里，用 vista_inspect 拉回来——这就是论文说的重新关注（跨时间和空间）。

要求

- Windows 10/11 —— 截图用 Win32 PrintWindow，输入用 SendInput。
- DeepSeek Harness，带配置档（在 DSH 0.2.1-rc.2 桌面配置档上测试过）。
- Python 3.10+ 和 Pillow —— 插件会自动发现随附的 Python %USERPROFILE%\.dsh\dsh-runtimes\*\dependencies\python，否则用 PATH 上的 python。可用 $env:VISTA_PYTHON 覆盖。
- 一条声明了图像输入的模型路由（插件把图像作为工具结果返回）。

安装

插件是配置档本地的 DSH 包：把检出目录链接进配置档，再选中这个包，就完成安装。install.cmd 封装脚本做的就是这件事（并先备份配置档配置）。

git clone https://github.com/gotoanywhere2021/dsh-vista-visual-harness.git
cd dsh-vista-visual-harness
.\install.cmd

在任意 DSH 会话里验证：

调用 vista_status —— 它应返回运行摘要（首次 vista_start 之前则返回 "no run"）。

卸载：

.\install.cmd -Uninstall

安装器只写入 DSH 配置档：一条 link: 依赖、dsh.profile.bundles 里的包选择，以及本 README 旁边的备份目录。运行中的 Harness 会热重组配置档，所以工具在下一次模型请求时出现。改动插件 JavaScript 需要重启宿主（DSH HMR 默认只重载配置档配置，不重载插件模块）。

使用

直接让智能体查看 / 操作某个窗口即可；工具自带使用规则。典型循环：

vista_start(window="Some game or tool")
read the returned image, reason, maybe vista_inspect / vista_read_pixels
state a prediction
vista_play(click_frame=..., ...) # exactly one action
read the returned image, state what changed
update vista_notes

论文附录 A.5 给出了这套 harness 评测时用的简短提示词模板，附录 A.4 用伪代码记录了工具契约。你也可以直接用自然语言让智能体去做，例如：

"Watch Notepad, type hello, and show me the result."

"Open the PDF proof window, archive every page, and flag the pages where the caption
sits on a different page from its figure."

架构

index.js Host plugin: 8 tool definitions, argument mapping, image attachments
cordis.patch.yml Bundle patch: inserts the plugin row
engine/ Python engine: Win32 capture, SendInput, lossless archive,
crop/zoom/montage, exact pixel readout, notes, history
locale/·icon.svg Plugin-manager display metadata install.ps1/.cmd Profile installation (link + bundle selection, with backups) tests/smoke.mjs Offline test: mocked tool context + real engine on a fixture image

宿主插件是一层薄门面：它启动 engine/vista.py，解析 JSON 工具结果，把 PNG 转成 attachments.saveImage 图像块（图像因此直接出现在工具结果里），再返回精简文本。引擎跑的代码与配套技能 vista-visual-harness 相同；运行数据存放在 %USERPROFILE%\.dsh\vista\runs\<id>\（frames/ 原图 + sha256、obs/ 每轮观察、views/、index.jsonl、history.jsonl、notes/）。
可选配置（插件行 config 或环境变量）：

| 配置项 | 默认值 | 含义 |
| pythonPath（config）/ VISTA_PYTHON | 自动检测 | 带 Pillow 的 Python 解释器 |
| runsRoot（config）/ VISTA_HOME | %USERPROFILE%\.dsh\vista | 运行归档的存放位置 |

开发

node tests/smoke.mjs

冒烟测试会导入真实插件，喂给它模拟的 tools/attachments 上下文，并驱动真实的 Python 引擎处理 tests/fixtures/target-pattern.png：静态摄取、精确 read_pixels、inspect 拼图、笔记、历史、状态，以及静态运行下拒绝 vista_play。CI 在 Windows 上跑同一套测试。

实测：从代码检出目录运行 install.cmd，打开任意窗口（比如记事本），然后依次用 vista_start → vista_observe → vista_play。

安全与防护

- 插件会向 Windows 桌面注入真实的鼠标和键盘输入。只在你获准自动化的窗口上使用；智能体已被要求避开不可逆的操作，并根据返回的图像核对每一步动作。
- 不访问网络：截图、输入和归档都在本地。引擎会启动本地 Python 进程，不下载任何东西。
- 运行记录可能包含屏幕上的任何内容截图，存放在本地 VISTA 主目录下。删掉运行目录即可清除。
- 插件运行在 DSH 宿主进程里（不同于工作区工具的沙箱）。插件出问题会影响 Harness；请保留安装器生成的配置档备份。

兼容性与限制

- 仅支持 Windows。没有 macOS/Linux 后端。
- 宿主插件 API 还很年轻；测试基于 DSH 0.2.1-rc.2。DSH 更新后请重新测试。
- 这套 harness 放大模型已有的能力，不额外增加推理；底子弱的模型依然弱。
- 屏幕取色对渲染出的像素是精确的，对印刷/ICC 颜色不精确。
- 公开基准分数可能反映训练数据重叠；把它们当作 harness 的证据，而不是新世界泛化能力的证明。

许可与引用

MIT（见 LICENSE）。如果你使用了这套 harness 设计，请引用：

@misc{han2026vista,
title = {VISTA: A Visual Harness for Reasoning in an Interactive World},
author = {Han, Qiushi and Hu, Keya and Qiu, Linlu and Wu, Cathy and He, Kaiming},
year = {2026},
eprint = {2610.02200},
archivePrefix = {arXiv}
}

中文简介

这是把 VISTA 论文的视觉 harness 做成 DeepSeek Harness 原生命令的插件：vista_start 观察窗口/屏幕/图片，vista_inspect 回看任意历史帧并放大，vista_read_pixels 精确取色，vista_play 一次只做一个动作并自动截取结果，vista_notes 维护 GUIDE/WORKING 笔记与压缩交接。图像直接作为工具结果返回。

安装：git clone 后运行 install.cmd（写入当前 DSH profile，带备份）；卸载 install.cmd -Uninstall。仅支持 Windows；需要带 Pillow 的 Python（DSH 自带即可）。
已知限制和论文数据见上文与仓库文档。