Windows 桌面操控 MuzeWinter/dscomputer-control

DScomputer-control

面向 DeepSeek Harness 的 Windows 桌面自动化 —— 让智能体在本地 GUI 上拥有眼睛和双手。

14 个工具 · 纯 JS、零依赖 · 将真实的键盘/鼠标输入、防遮挡窗口截图和无障碍树带入 DSH。

功能

- 枚举应用和窗口（cua_list_apps、cua_list_windows）→ {app, id, title}。
- 观察 —— cua_window_state 返回使用 Windows.Graphics.Capture 捕获的窗口截图（即使窗口被其他窗口遮挡也能正常工作），以及无障碍（UIA）树，其中包含用于精确定位的 element_index 值。
- 操作 —— 真实输入注入，而非 UI-Automation 值写入：cua_click（单击/双击，按元素或像素）、cua_type_text（支持中日韩文字）、cua_press_key（Control_L+a、Return 等）、cua_scroll、cua_drag（文本选择、滑块、文件）、cua_set_value、cua_secondary_action。
- 启动 / 聚焦 —— cua_activate_window、cua_launch_app。
- 干净退出 —— cua_release 会关闭引擎，从而拆除其屏幕上的光标叠加层并恢复真实指针；如果会话被遗留为打开状态，空闲计时器（releaseAfterIdleMs，默认 60 秒）会自动执行同样的操作。

要求

| 操作系统 | Windows 10 / 11 x64 |
| 宿主 | DeepSeek Harness Desktop 0.1.x |
| 运行时 | 官方 computer-use 运行时（@oai/sky）已安装在机器上 |

本包不附带引擎二进制文件 —— 运行时来自提供它的供应商应用程序。插件通过枚举 %LOCALAPPDATA%\OpenAI\ 下的供应商目录（最高的 @oai/sky 版本、最大的 CLI 可执行文件）来找到它，因此即使供应商升级更改了哈希目录，也无需改动插件即可继续工作。

无需管理员权限。

安装

从插件市场安装，或直接安装：

dsh plugin add https://github.com/MuzeWinter/dscomputer-control

然后完全退出并重启 DeepSeek Harness —— bundle 模块按进程缓存，因此重启才会加载插件。对下方 config 块的更改会在几秒内热重载，无需重启。

手动安装：将 lib/ 和 cordis.patch.yml 复制到 /_plugins/dscomputer-control，在 /node_modules/ 中暴露它，将 "dscomputer-control" 添加到 /package.json 中的 dsh.profile.bundles，并追加：

- id: dscomputer-control
name: "dscomputer-control"
config:
approval: auto
releaseAfterAction: false
releaseAfterIdleMs: 60000
imageMode: auto
maxTextChars: 20000
timeoutMs: 45000

捆绑的技能（skill/SKILL.md）可以复制到 %USERPROFILE%\.dsh\skills\dscomputer-control\SKILL.md；技能无需重启即可被识别，并使模型在 GUI 任务中主动使用此工具集。

配置

| 键 | 默认值 | 含义 |
| approval | auto | auto 无人值守运行；allowlist 仅允许匹配 approvedApps 的应用；deny 确定性地拒绝每一个操作 |
| approvedApps | [] | 与应用程序标题 / 进程名匹配的子字符串（仅在 approval: allowlist 时生效） |
| imageMode | auto | 当活动模型接受图像时，auto 会附带截图；text 仅返回树 |
| releaseAfterAction | false | true 表示每个操作后关闭引擎（对指针最安全，但覆盖层只会一闪而过） |
| releaseAfterIdleMs | 60000 | 空闲这么长时间后自动释放；0 表示禁用 |
| maxTextChars | 20000 | 无障碍树的截断长度 |
| timeoutMs | 45000 | 每次调用的超时时间（向 DSH 注册为 timeoutMs + 15000） |
| scrollStep | 3 | 基于方向的滚动的步长 |

工具（14 个）

cua_status · cua_list_apps · cua_list_windows · cua_window_state · cua_click · cua_type_text · cua_press_key · cua_scroll · cua_drag · cua_set_value · cua_secondary_action · cua_activate_window · cua_launch_app · cua_release

节省轮次的使用纪律：先枚举（{app, id} 两者都必填），输入前先激活，优先使用 element_index 而非像素坐标，每个操作后都要验证，完成后释放。

行为与注意事项

- 真实输入注入会抢占前台焦点。 它会激活目标窗口；不适合静默的后台工作。若要在不改变焦点的情况下设置值，单独的 dsh-click 插件更合适——两者互补，可以并排安装。
- WinUI / AUMID 窗口（Windows 11 记事本、Windows 终端）以及提权窗口不受引擎支持（foreground window did not report a process id，或 UIPI 阻止注入）。经典 Win32 目标可以正常工作。
- 坐标以客户区左上角为原点，不包括标题栏。
- cua_launch_app 接受来自 cua_list_apps 的应用 id（或可启动的可执行文件），而不是显示名称。
- 引擎的光标覆盖层在控制期间绘制；cua_release / 空闲自动释放会将其移除。

中文要点

- 给 DeepSeek Harness 加"看屏幕 + 动手"能力：14 个工具，纯 JS、零依赖。
- 枚举应用/窗口 → 窗口截图（被遮挡也能截）+ 无障碍树 → 真实输入（点击、输入中文、组合键、滚动、拖拽）。
- 需要机器上已装官方电脑控制运行时（@oai/sky），本包不含引擎二进制；插件按厂商目录枚举发现运行时，引擎升级换目录不影响。
- 安装后必须完全重启 DSH；改 config 会热重载、不用重启。
- 已知边界：WinUI/AUMID 窗口与提权窗口不支持；真实输入会抢前台焦点；坐标以客户区左上角为原点。
- 收尾用 cua_release（或等 releaseAfterIdleMs 自动释放），否则引擎的光标覆盖层会一直盖着鼠标。

归属

电脑控制引擎和 @oai/sky 运行时归其厂商所有，不属于本包的一部分。本插件仅代表 DSH 在进程内定位并加载它们；它既不附带、复制也不修改它们的文件。

许可证

MIT —— 仅涵盖本仓库中的插件代码。