桌面视觉操控 xuanyuanluoxue/computer-use-vision

Computer Use Vision — DSH 插件

Windows 桌面「识图 + 模拟操作」能力，作为 DeepSeek Harness 插件运行。

让纯文本模型（DeepSeek、MiMo 等无多模态能力的 LLM）也能：

1. 看屏幕：截图 → 调外部 vision 模型（默认阿里云百炼 qwen-vl-max）→ 得到文字描述和坐标
2. 操作电脑：SendInput 模拟鼠标点击/拖拽、键盘快捷键/文字输入
3. 越用越聪明：内置自进化应用技巧库（knowledge/），每次使用后沉淀新快捷键、新坑位、新解法

出处与致谢

本插件的 Skill 层源代码（SKILL.md、scripts/、knowledge/）取自：

wimi321/windows-computer-use-skill
一个面向 Windows 的顶级 computer-use skill，内置独立 runtime 与 MCP server。
原项目采用 MIT 许可。

本插件在此基础上做了以下改动：

- 适配 DSH 插件体系：将 skill 内容封装为 ctx.skills.register() 注册，新增 defineTool 工具层（computer-see/click/rightclick/drag/type/key/scroll/knowledge）
- 双模式支持：插件模式（工具注册）+ 纯 skill 模式（pwsh 回退）
- ESM/CJS 兼容修复：assets/scripts/package.json 强制 vision.js 按 CommonJS 加载，解决 DSH 仓库内 "type": "module" 导致的 require is not defined 问题
- 自进化知识库保留：knowledge/ 目录原样保留，agent 操作后可继续沉淀经验
- DSH bundle manifest：添加 dsh.bundle + cordis.patch.yml，支持 dsh plugin add 一键安装

感谢 wimi321 的原始工作。

架构

本插件遵循 DSH 的 skill + tool 混合形态：

┌──────────────────────────────────────────────┐
│ Skill 层（怎么想） │ │ computer-use-vision (SKILL.md) │ │ 工作流 · 优先级 · 安全规则 · 自进化协议 │ │ resourceBase → assets/ (knowledge/, scripts/) │ └──────────────┬───────────────────────────────┘ │ 模型加载后调用 ┌──────────────▼───────────────────────────────┐ │ Tool 层（怎么做） │ │ computer-see / click / type / key / scroll │ │ defineTool → ctx.tools.register │ │ 内部封装 PowerShell/Node 脚本 │ └──────────────┬───────────────────────────────┘ │ child_process / DSH shell ┌──────────────▼───────────────────────────────┐ │ Windows 原生层 │ │ capture.ps1 → vision.js → input.ps1 │ │ SendInput (NET) · OpenAI-compatible API │ └──────────────────────────────────────────────┘

工具参考

| 工具名 | 作用 | 典型参数 |
| computer-see | 截图 + vision 模型描述 | prompt, window_title? |
| computer-click | 鼠标左键点击 | x, y |
| computer-rightclick | 鼠标右键点击 | x, y |
| computer-drag | 鼠标拖拽 | from_x/y, to_x/y, modifiers? |
| computer-type | 文字输入（剪贴板） | text |
| computer-key | 键盘快捷键 | keys（如 "Ctrl+A"） |
| computer-scroll | 滚轮滚动 | x, y, delta |
| computer-knowledge | 查询技巧库 | action（list/search/app）, query? |

所有坐标均为屏幕物理像素（DPI 感知），computer-see 返回的坐标可直接用于 computer-click。

配置

在 cordis.yml 中启用并配置：

plugins:
- name: dsh-computer-use-vision
config:
visionBaseUrl: "https://dashscope.aliyuncs.com/compatible-mode/v1" # OpenAI 兼容端点 visionModel: "qwen-vl-max" # 任意 OpenAI 兼容 vision 模型 visionApiKey: "" # 留空则读 VISION_API_KEY 环境变量 visionTimeoutMs: 30000 commandTimeoutMs: 10000 Key 读取优先级：config.visionApiKey > 环境变量 VISION_API_KEY > DASHSCOPE_API_KEY

支持任何 OpenAI 兼容的 vision 服务（阿里云百炼 / OpenAI / 中转等），改 visionBaseUrl 与 visionModel 即可。

安装到 DSH

方式一：--patch 加载（开发/测试）

在 DSH 仓库目录下，通过 junction link 开发 mklink /J packages\shell\computer-use D:\code\ai\computer-use-vision
pnpm install
npx tsc -b packages/shell/computer-use/tsconfig.json

通过 --patch 加载
pnpm dsh web --patch ./packages/shell/computer-use/cordis.patch.yml

方式二：dsh plugin add（正式安装）

打包后安装到 profile
dsh plugin add dsh-computer-use-vision --profile default

方式三：纯 Skill 模式（无需插件）

只把 SKILL.md 放进 .agents/skills/computer-use-vision/，通过 skill 工具加载。
模型用 pwsh 工具直接调用 assets/scripts/ 下的脚本（见 SKILL.md 底部「Skill 模式命令」）。

配置 Vision Key $env:VISION_API_KEY = "sk-xxx"

直接调用脚本 powershell -NoProfile -ExecutionPolicy Bypass -File assets/scripts/see.ps1 -Prompt "描述屏幕" powershell -NoProfile -ExecutionPolicy Bypass -File assets/scripts/input.ps1 click -X 960 -Y 540

自进化知识库

assets/knowledge/ 目录是自进化应用技巧库。每个应用一个 Markdown 文件，包含：

- 识别特征：如何判断当前是该应用
- 已验证快捷键：实测有效的快捷操作
- 坑位记录：已知问题和解法
- 待验证区：存疑的条目

模型每次操作结束后必须输出自进化报告，有更新时写入 knowledge/apps/.md 并追加 REPORTS.md 日志。

安全规则

1. 不操作：登录/认证对话框、密码管理器、系统安全/隐私设置、支付页面
2. 移动优先于删除：覆盖/替换前必须确认
3. 剪贴板保护：剪切后禁止用剪贴板型输入；粘贴前验证
4. 最小操作序列：只做任务所需的最小操作
5. 不注入终端命令：不碰 Win 键组合
6. 立即停止：用户中断或环境异常（锁定/弹窗）立即报告

依赖

- Windows：PowerShell 5.1+ / .NET（SendInput）— 已内置于 Windows
- Node.js：≥ 18（vision.js 零第三方依赖）
- 外部服务：OpenAI 兼容的 vision API（默认阿里云百炼 qwen-vl-max）

开发

在 DSH 仓库内开发（通过 junction link） cd
pnpm install
npx tsc -b packages/shell/computer-use/tsconfig.json

或直接在本目录（需要 DSH workspace 依赖可用）
pnpm run build # tsc -b

构建输出在 lib/types/（ESM JS + .d.ts 声明），无需额外 bundler。

项目结构

computer-use-vision/
├── README.md # 本文件 ├── package.json # dsh-computer-use-vision（含 dsh.bundle） ├── cordis.patch.yml # DSH bundle 插件行声明 ├── tsconfig.json # 继承 DSH tsconfig.base.json ├── SKILL.md # 双模式技能指令（插件工具 + pwsh 回退） ├── SKILL.original.md # 原始技能文档（保留参考） ├── src/ # 插件 TypeScript 源码 │ ├── index.ts # 入口（name/inject/Config/apply） │ ├── types.ts # 纯类型 │ ├── command.ts # 命令执行抽象（RunCommand 接口） │ ├── windows-driver.ts # Windows 驱动（封装脚本调用） │ ├── tools.ts # 8 个 defineTool 定义 │ ├── skill.ts # ctx.skills.register 技能注册 │ └── invariant.ts # 包清单注册 ├── lib/types/ # 构建输出（tsc -b，ESM JS + .d.ts） ├── assets/ │ ├── SKILL.md # 技能指令（canonical，被 skill.ts 读取） │ ├── scripts/ # PowerShell/Node 脚本 │ │ ├── see.ps1, capture.ps1, input.ps1 │ │ ├── vision.js（+ package.json 强制 CJS） │ │ └── knowledge.ps1 │ └── knowledge/ # 自进化技巧库 │ ├── INDEX.md, REPORTS.md, _TEMPLATE.md │ └── apps/ # 各应用技巧文件 └── examples/ └── workflow.md

许可

MIT —— 详见 LICENSE。

Skill 层源代码（scripts/、knowledge/、SKILL.md）取自 wimi321/windows-computer-use-skill，原项目同为 MIT 许可。