Windows 桌面操控 shinji00222/dsh-windows-computer-use

DSH Windows Computer Use · Windows 电脑控制插件

让 DSH 操作 Windows 桌面：读取控件、截图和文字，点击、输入，再确认结果。

这是基于 Yu-tao-Li/dsh-computer-use-win 改造的独立项目。我们的侧重点有所不同：用 C# 原生引擎 + TypeScript 接入层，把目标窗口绑定、停止机制和结果验证放在前面。感谢原项目及更早上游 cgissing/windows-computer-use 的工作，来源和许可见 NOTICE.md。

当前是 0.1.0-preview.3 预览版，面向 Windows x64 和愿意测试的 DSH Desktop 用户。

能做什么

- 读取 Windows 控件、查找窗口和按钮；UIA 不完整时可用 Windows OCR 或截图。
- 点击、双击、拖动、滚动、输入中文、快捷键、控件赋值和窗口管理。
- 看图批量操作：一张截图规划最多 8 个动作，一次执行后返回最终截图和逐步结果，减少模型往返。
- 操作前要求观察目标窗口。窗口移动、焦点变化、目标不明确或观察过期时拒绝盲目输入。
- 独立线程监听 Esc，停止后当前轮不能继续输入；新的用户请求可继续。
- 引擎通过内存返回截图，DSH 会将获准的图片保存为会话附件。输入已发送与效果已确认分开返回。

获取插件

安装包在 GitHub Releases 提供。源码仓库不包含已编译的原生引擎，直接从 GitHub 源码安装不能替代下载预编译包或先构建。当前未发布到 npm，也不代表已被任何插件市场收录。

从源码构建

需要 Windows 10/11 x64、Node.js ≥22 和 .NET 10 SDK：

npm ci
npm run build
npm test
npm run package:local

DOTNET_EXE 可指定 SDK 的 dotnet.exe。构建生成 native/DesktopEngine.exe，自包含引擎不要求使用者另外安装 .NET。打包结果在 artifacts/，安装时保留压缩包内的依赖目录。

接入 DSH Desktop

下载 Release 的 .tgz（也可自行构建），在 Desktop 自带终端安装，替换成实际绝对路径：

dsh plugin --profile desktop add "C:\path\to\dsh-windows-computer-use-0.1.0-preview.3.tgz"

完整退出并重开 DSH。插件配置提供操作提示和只读模式，客户端插件卡片解释操作与停止规则。工具名前缀为 mcp__shin_desktop__windows_computer_use_。

第一次可让 DSH：

列出窗口，确认测试用记事本的 HWND，观察后输入“你好”，再读取文本确认。只操作这个测试窗口。

两个电脑控制插件同时操作会争抢桌面，请在使用时只选择一套。此项目的跨进程互斥只约束本项目的引擎，无法约束其他软件。

一张截图，多个动作

在 DSH 选择支持图片输入的模型，然后可以说：

看一下这个表单，把姓名和备注填好。能确定的步骤连续做，提交前停下来给我看。

插件提供 screenshot → run_batch → 最终截图。批量动作使用截图里的像素坐标，自动换算窗口位置与缩放；最多 8 步，截图引用一分钟有效且只能用一次。填入已知文本、Tab 切换输入框等可放在同一组，不必每步截图。原有单步工具仍可用，批量暂支持点击、双击、移动、滚动、文字、快捷键和短等待。

跳转、提交、打开菜单等动作应设 checkpoint: true；滚动和 Enter 自动结束当前组。检测到窗口移动、焦点变化、标题或可读取控件变化、失败或 Esc 时停止剩余动作。结果包含已完成数量和最终截图，不能整组重放。

控件检查无法识别所有网页或画布变化，异步页面也可能稍后才跳转。因此“不确定下一步要做什么”时必须设检查点；不要把一张旧截图当作多页流程的依据。纯文本模型会收到 VISION_MODEL_REQUIRED，请切换支持图片的模型。

跨轮操作追踪

中断或新一轮继续任务时，可以让模型先调用 windows_computer_use_operation_history（limit 为 1–100，默认 20），再重新观察目标窗口。历史按完成顺序返回，包含操作编号、原始轮次、耗时、执行状态、批次完成/尝试/剩余数量，以及原生结果是否返回图片。每个执行结果也附带相同的 operation 证据。

历史中的 returned 表示工具返回，不能证明应用效果已确认；partial 表示批次提前停止，error 表示调用失败，动作仍可能已经送达。失败记录只保留错误码。imageReturned 仅表示 MCP 结果包含图片，不保证宿主已持久化或模型已看到图片。不要据此重放已完成步骤，继续前重新观察。

DSH 会话之间隔离，同一会话可跨用户轮次查询。每个 MCP 连接最多保存 32 个会话，每会话最近 100 条，按完成顺序淘汰；重启或重载插件会清空。独立 MCP 客户端按一个会话记录。历史不保存工具参数、输入文本、OCR 内容、窗口标题或截图，也不提供旧截图的可执行引用。

其他 MCP 客户端

{
"mcpServers": {
"desktop-native": {
"command": "node",
"args": ["C:/path/to/dsh-windows-computer-use/dist/server.js"]
}
}
}

独立 MCP 没有 DSH 用户轮次信号，Esc 后需在明确收到新的用户请求时调用 windows_computer_use_resume。DSH 内禁止模型调用该工具恢复当前轮。

已知边界

- 激活窗口会等待目标处理消息；Windows 仍可能拒绝切换前台。遇到 FOREGROUND_DENIED 或 FOCUS_CHANGED 时停止输入，确认目标窗口后重新观察。
- 本版没有后台消息输入和 WGC 捕获；后台窗口用 PrintWindow，失败时的屏幕裁剪会标记可能被遮挡。
- UIA 控件调用可能阻塞。超时会停止并回收工作进程，不自动重放输入；已经送达应用的动作无法撤回。
- OCR 依赖已安装的 Windows OCR 语言包。坐标匹配是文字定位，不代表理解按钮含义。
- 不控制 UAC 安全桌面，不自动提权；普通权限无法保证操作管理员应用。
- 从上游迁移后的元素 ID、返回结构、配置和包名均有变化，不能直接替换其内部调用。
- 自动化测试覆盖专用 WinForms 窗口和 MCP 通信，不代表所有应用、游戏或复杂网页都能稳定操作。

维护与验证入口见 技能.md。