nanbbb/dsh-computer-use-windows

dsh-computer-use

用于 DeepSeek Harness 的 Windows Computer Use 工具。该插件结合了：

- Windows 窗口发现和前台输入；
- UI Automation 元素发现和焦点状态；
- 窗口截图；
- 兼容 ModLens 的 3x3 视觉定位；
- 绑定观察结果的元素/坐标操作；
- 针对风险操作的 DeepSeek Harness 一次性审批提示。

为什么存在网格

ModLens 有意返回语义证据，而不是凭空编造的边界框。因此，computer_observe 会生成一张标注了 A1-C3 的截图。对于自定义 UI，请对 grid_screenshot_path 调用 modlens_read_image，用 computer_zoom 选择报告的单元格，并重复此过程，直到区域小到足以点击。标准控件应使用 UI Automation 的 element_index 路径。

没有无障碍树的应用程序（微信、Electron 等）

像微信这样的自绘 UI 暴露的是空的无障碍树，因此无法使用 element_index 导航。请改用截图路径：

1. computer_observe 返回一个 grid_screenshot_path。如果某个窗口在首次捕获时渲染为空白（它仍在激活或被遮挡），原生辅助程序会重新激活它并重试，然后才回退到屏幕副本；现在，仍被遮挡的窗口会以明确的错误失败，而不是静默返回错误窗口的截图。
2. 对网格调用 modlens_read_image，选择一个 A1-C3 单元格，执行 computer_zoom，并重复此过程，直到区域变小。ModLens 可能会超时或不精确：请重试读取，并用 computer_zoom 交叉验证，而不是信任单个网格答案。
3. 微信会在不最小化的情况下隐藏到托盘：在观察之前，用 computer_hotkey ctrl+alt+w（或 computer_tray）唤醒它，而不是依赖辅助程序显示一个空白窗口。

安装

从 npm 安装
npx -y @deepseek-ai/dsh plugin --profile web add dsh-computer-use-windows

或从 GitHub 安装
npx -y @deepseek-ai/dsh plugin --profile web add github:nanbbb/dsh-computer-use-windows

从源码构建

npm run verify
npm pack
npx -y @deepseek-ai/dsh plugin --profile web add C:\absolute\path\to\dsh-computer-use-windows-0.2.1.tgz

安装后重启 DeepSeek Harness。保持 @liustack/modlens 启用；此插件不会复制或替换其视觉提供程序。

示例任务

使用 Computer Use 打开现有的计算器窗口并计算 19 × 7。
不要操作任何其他应用程序。

模型应调用 computer_list_windows，从返回结果中仅选择一个窗口，调用 computer_observe，执行一次操作，然后再次观察。

安全模型

风险调用使用 Harness 审批服务。缺少审批支持时会以失败关闭方式处理。屏幕上的指令永远不算作用户授权。原生辅助程序会拒绝不可见窗口、无效句柄、窗口外坐标点、密码控件、终端窗口、身份验证 UI 和锁定的桌面。

完整的安全模型见 SECURITY.md。

配置
cordis.patch.yml 里的 config 字段（均可选，有默认值）：

| 字段 | 默认 | 说明 |
| --- | --- | --- |
| observationTtlMs | 120000 | 观测快照有效期（毫秒），过期后 element_index / 坐标失效 |
| maxAccessibilityElements | 300 | 单次观测返回的 UI Automation 元素上限 |
| screenshotDirectory | auto | 截图输出目录；auto = 系统临时目录 |
| requireApprovalForTyping | false | 为 true 时所有打字强制走审批 |
| allowedApps | [] | 白名单；非空时只允许这些进程名（不含 .exe，如 ["notepad","chrome"]），其余全部拒绝 |
| allowedExternalLabels | [] | 允许降级「发送/提交」类标签的名单（子串匹配，不区分大小写，如 ["发送","send"]）。命中时按模型的显式 risk 处理；仅 external 类可放行，删除/支付/登录永远升级 |

这是面向 Windows 10/11 x64 的 MVP，完全自包含——捆绑的原生辅助程序自带 .NET 运行时，因此无需单独安装。

交互模型

动作会在点击、打字或按键之前激活（置于前台）目标窗口。这是一种前台模式：当代理操作某个窗口时，该窗口会占据前台，物理鼠标会移动到操作点。它不会在后台运行。如果你需要在代理工作期间使用这台机器，请记住这一点。