桌面操控 AzaiSakura/dsh-computer-use

dsh-computer-use

DeepSeek Harness 的 Computer Use（macOS） —— 让 DeepSeek Harness 智能体通过辅助功能树、截图和合成输入，读取并操控真实的桌面应用。

这是「Computer Use」模式面向 DeepSeek Harness 的独立净室重实现。与 OpenAI 无隶属关系，也未获其背书。

中文文档

功能

- 10 个面向模型的工具，注册为 dsh 原生工具（computer_use_*）： list_apps、get_app_state、click、drag、press_key、scroll、select_text、set_value、type_text、perform_secondary_action
- macOS 原生守护进程（Swift）：
- 采集辅助功能树，带省 token 的差异模式
- 窗口截图（file:// PNG），受「屏幕录制」权限管控
- 合成输入：优先走 AX 动作，回退到 CGEvent 坐标
- dsh 原生集成：
- Cordis 函数插件，遵循 dsh 包约定（dsh.bundle 配置档层）
- 通过 ctx.approval 审批，可选持久化存储
- 按轮次的会话生命周期（turn/end 时清空会话）
- 提示词安全段落，把 UI 内容标记为不可信观察
- 安全：对端认证的 Unix socket（getpeereid）、严格的文件权限、TCC 指引

架构

flowchart LR
H[DeepSeek Harness] -->|dsh.bundle layer| P[dsh-computer-use pluginCordis function plugin]
P -->|ctx.tools / ctx.approval / ctx.systemPrompt| H
P -->|JSON-RPC 2.0 over Unix socket| D[CUADaemonSwift native daemon]
D -->|AXUIElement / CGEvent / ScreenCaptureKit| M[macOS]

TypeScript 插件只负责粘合：工具 schema、审批、生命周期。所有系统访问都在 Swift 守护进程里，TCC 权限和 AX 状态集中在一处。

环境要求

- macOS 14.4+
- DeepSeek Harness（dsh 命令行或仓库检出）
- Node.js 20+ 和 Swift 5.9+ 工具链
- 权限：辅助功能（必需）和屏幕录制（用于截图）

安装

1. 构建

Native daemon
cd native && swift build -c release

TypeScript plugin
cd packages/computer-use/dsh-computer-use
npm install && npm run build

2. 注册到 dsh

包内声明了 dsh.bundle，装进配置档后会自动激活：

dsh plugin --profile web add "link:$(pwd)/packages/computer-use/dsh-computer-use"

3. 配置

可以设置环境变量：

export DSH_COMPUTER_USE_SOCKET="$HOME/.dsh-computer-use/computeruse.sock"
export DSH_COMPUTER_USE_DAEMON="$PWD/dist/DSH Computer Use.app/Contents/MacOS/CUADaemon"
export DSH_COMPUTER_USE_APPROVALS="$HOME/.dsh-computer-use/approvals.json"

也可以在配置档补丁里覆盖插件行（~/.dsh/profiles/<profile>/cordis.patch.yml）：

- id: computer-use
config:
socketPath: /Users/<you>/.dsh-computer-use/computeruse.sockyaml
daemonCommand: /path/to/dist/DSH Computer Use.app/Contents/MacOS/CUADaemon
daemonArgs:
- '--socket'
- /Users/<you>/.dsh-computer-use/computeruse.sock
toolCallTimeoutMs: 120000
requireAppApproval: true
approvalStorePath: /Users/<you>/.dsh-computer-use/approvals.json

4. 授予权限

把守护进程（或 DSH Computer Use.app 包）加入 系统设置 → 隐私与安全性 → 辅助功能 和 屏幕录制。完整步骤见 docs/accessibility-setup.md。

用法

启动 dsh，让模型调用这些工具： sh
dsh web

示例提示词：

- 「用 computer_use_list_apps 看看哪些应用正在运行。」
- 「用 computer_use_get_app_state 读取 VS Code 窗口标题。」
- 「打开第一个 QQ 会话，读取最新消息。」

工具

| 工具 | 说明 |
| computer_use_list_apps | 正在运行 + 最近使用过的应用 |
| computer_use_get_app_state | AX 树（默认输出差异）+ 截图 URL |
| computer_use_click / computer_use_drag | 按元素索引或坐标点击 / 拖拽 |
| computer_use_press_key / computer_use_type_text | xdotool 风格按键 / 输入文本 |
| computer_use_scroll / computer_use_select_text / computer_use_set_value | 滚动 / 选中 / 设置值 |
| computer_use_perform_secondary_action | AX 次级操作（例如 Show Menu） |

验证 sh
cd native && swift test # Swift unit tests
cd packages/computer-use/dsh-computer-use && npm test
./scripts/verify-install.sh # install + config-tree + permission checks
RUN_E2E=1 ./scripts/verify-install.sh # + headless agent smoke test

项目结构 text . ├── packages/computer-use/dsh-computer-use/ # Cordis plugin (TS) ├── native/ # Swift daemon + tests ├── docs/ # setup, virtual cursor, monorepo guides ├── scripts/ # build / install / verify / e2e ├── openspec/ # spec-driven planning artifacts └── dist/ # DSH Computer Use.app bundle

已知限制

- 独立重写实现；通信协议来自对参考实现的黑盒观察（从未复制代码）。
- QQ / Electron 风格的应用对消息文本暴露的 AX 数据有限，要拿到完整内容可能需要 OCR。
- select_text 依赖目标应用暴露 AX 文本范围（尽力而为）。
- 截图计划升级到 ScreenCaptureKit（目前用 CGWindowListCreateImage）。

许可证

MIT