Windows 桌面操控 ALAMBICCO/dsh-computer-use-en

dsh-computer-use-en

@copylee/dsh-computer-use 的英文移植版，适配 DSH 0.2.1 未打包的 koffi.node 自动发现机制。

让 DeepSeek Harness 直接观察并操作你的 Windows 桌面：查看屏幕、点击鼠标、键盘输入、启动或聚焦应用、管理窗口、读取 Windows UI Automation（UIA）树、读写剪贴板。接管期间，屏幕上会出现橙色屏幕光晕和状态胶囊（「DeepSeek Harness is controlling your computer」），DeepSeek Harness 则最小化为右下角可拖动的迷你进度卡片，实时显示流式回复和最近步骤。随时按 Esc 暂停或恢复，或点 Stop 结束本轮。

仅支持 Windows 10（2004+）/ Windows 11。

功能

| 功能 | 说明 |
| 截图坐标空间 | 模型直接使用最新截图的像素坐标；DPI 缩放和多显示器偏移会自动换算（150%–200% 缩放下同样准确）。 |
| 操作后自动截图 | 点击、输入、按键、滚动和 wait 都会等屏幕稳定（最长约 2.5s），并在同一次往返中自动返回新截图。 |
| 批量操作（computer_batch） | 一次工具调用执行多步序列（例如：聚焦输入框 → 输入文本 → 按 Enter → 等待对话框 → 保存）。 |
| 按名称定位控件（target） | 传 target（如 "Save" 或 "button:OK"）代替坐标——批量执行中途才出现的菜单项或对话框按钮也能定位（最多等 3s）。 |
| 等待条件（until） | wait 配合 until（"window:Save As"、"target:Save"），窗口或控件一出现就继续（gone: true 时则等它消失）。 |
| 把窗口读成文本（ui_elements） | 给 ui_elements 传 text: true（或给 computer_batch 传 finish: "text"），直接通过 UI Automation 读取文档、网页、聊天回复或日志，不用滚动截图。 |
| 按应用访问控制 | 通过 request_access 按会话申请权限（使用 danger-full-access 预设时自动批准），或在设置里切换为 Allow all apps。绝不会控制 DeepSeek Harness 自身或密码管理器。 |
| 迷你进度卡片与叠加层 | 右下角浮动进度卡片流式显示 AI 回复和步骤时间线，不会出现在 AI 截图里（WDA_EXCLUDEFROMCAPTURE），并允许点击穿透。 |
| 即时人工接管（Esc） | 按物理 Esc 暂停/恢复；在物理键盘上打字会让 AI 暂停，直到你停手；切换窗口会让 AI 在操作前重新检查屏幕。 |
| 干净的剪贴板与流式输入 | 长文本按段落流式输入，不会触发编辑器自动格式化故障，不进入 Windows 剪贴板历史（Win+V），结束后恢复你的剪贴板。 |
| App Skills（app_skill） | 按应用存放的 Markdown 笔记（~/.dsh/computer-use-skills/），open_application 打开某个应用时会自动挂载，内置 10 个英文技能（Chrome、Word、Excel、PowerPoint、File Explorer、Notepad、Obsidian、Typora、WeChat、QQ）。 |
| 零原生构建步骤 | 使用 DSH 签名的内置 koffi.node，在进程内快速完成截图与输入；首次运行时通过 Windows 内置的 .NET Framework csc.exe 编译 helper/CuHelper.cs。 |

安装

从 GitHub Release 或 GitHub 安装：

dsh plugin --profile web add "https://github.com/ALAMBICCO/dsh-computer-use-en/releases/download/v0.8.1/dsh-computer-use-en-0.8.1.tgz"

智能体工具

| 工具 | 说明 |
| computer | 执行单个桌面操作：screenshot、left_click、double_click、triple_click、right_click、middle_click、mouse_move、left_click_drag、left_mouse_down、left_mouse_up、scroll、type、key、hold_key、wait、zoom、cursor_position。 |
| computer_batch | 一次往返按顺序执行一组操作，遇到第一个错误就停止，返回一张稳定后的截图（或窗口文本）。 |
| open_application | 按开始菜单名称、桌面快捷方式、.exe 路径或 URL 打开应用；把已运行的窗口带到前台，或从通知区域图标还原托盘应用。 |
| windows | 对顶层窗口执行 list、focus、minimize、maximize、restore、close 或 tidy。 |
| ui_elements | 读取可点击/可编辑的 UI Automation 控件，坐标基于截图空间；传 text: true 则读取窗口文本。 |
| clipboard | 读取或写入 Windows 剪贴板中的纯文本（本轮结束后恢复原内容）。 |
| switch_display | 列出显示器，或切换截图与坐标所指向的显示器。 |
| app_skill | 对按应用存放的操作笔记执行 list、read、append 或 write。 |
| request_access / list_granted_applications | 申请并查看按会话授予的应用控制权限。 |

致谢与许可

MIT License。基于 copylee 的 @copylee/dsh-computer-use，已译为英文，并适配 DSH 0.2.1 解包后的 koffi.node 解析方式。