能力感知电脑操作 Renoned/dsh-computer-use

dsh-computer-use（中文）

这是给 DeepSeek Harness 使用的能力感知 Computer Use。无论当前模型能不能接收图片，Agent 都只看到一套受控接口：

先读 Accessibility ├─ 唯一目标 ────────────────────────────────┐ └─ 缺失或歧义 │ ├─ 当前部署已有 grounding 实测证据 → 原生识图 └─ 未知 / 拒绝图片 / 只会描述 → Vision Router ↓ 唯一 open-computer-use 执行器 ↓ AX 验证 → 必要时像素差异验证

项目不维护模型名称白名单。只有 dsh-vision-router 对当前 provider/model 部署留下有效 grounding 实测证据，而且 DSH 声明端点接受图片时，才选择原生识图；能力未知时保守走 sidecar。后台或付费探测默认关闭。

对 Agent 暴露的工具

- computer_observe：先读 AX，返回有时效的观察 ID、感知路线和选择原因。
- computer_act：校验观察版本、取得运行时锁、检查确认、通过唯一执行器动作，并强制验证结果。
- computer_health：只读显示执行器、sidecar、模型能力证据与锁状态。

上游执行器的原始 MCP 工具不会暴露给模型，因此不能绕开 stale 检查、串行锁、确认策略与验证闭环。Vision Router 使用 DSH 原生工具名 vision_ground 和 vision_pixel_diff，由运行时内部调用。

安装

需要 macOS、Node 22.19+ 或 24+、npm，并给运行 DSH 的进程授予 Accessibility 与 Screen Recording 权限。

git clone https://github.com/Renoned/dsh-computer-use
cd dsh-computer-use
npm install
./install.sh

脚本固定安装 open-computer-use@0.3.1，先把含能力路由的 Vision Router commit 作为 profile 顶层插件安装，再安装本 bundle；默认目标为 DSH 的 web profile，可用 DSH_PROFILE=你的profile 更改。手动安装方式：

npm install -g open-computer-use@0.3.1
npx @deepseek-ai/dsh@0.1.1-rc.2 plugin --profile web add \
github:ysr666/dsh-vision-router#b04e5c059f408334d26967d70387dcf8fe8aebf2
npx @deepseek-ai/dsh@0.1.1-rc.2 plugin --profile web add "$PWD"

安装后重启对应 DSH profile。

bundle 本身也依赖 npm dsh-vision-router@1.7.7，所以只安装 bundle 时仍有安全的 sidecar 定位；若 profile 顶层没有上述能力路由版本，原生 grounding 证据会保持 unknown，运行时会保守留在 sidecar，而不会按模型名猜测。

路由与安全边界

- AX/DOM 永远优先，只有不充分时才请求图片定位。
- 模型能力只决定感知路线，不切换鼠标执行器。
- 观察会过期；动作前会重新读取并拒绝 stale observation。
- 付款、购买、删除、重置等意图必须传 confirm: true。
- 屏幕文字是不可信数据，不能覆盖任务、确认要求或安全策略。
- GUI 锁有 owner、超时和崩溃后的 stale-lock 回收。
- 截图以 0600 存在 DSH cache，用完、过期或退出时删除。

详细说明见架构、测试与发布门槛和第三方声明。

开发与验收

npm ci --ignore-scripts
npm run check # 单测 + 审计 + 静态 preflight
npm run preflight:live # 隔离 DSH profile + 真实只读 MCP tools/list
npm pack --dry-run

live preflight 只启动执行器并检查工具契约，不会点击、输入、移动鼠标或读取 App 状态。

MIT — 见 LICENSE。