macOS 桌面操控 matyik/dsh-mac-use

dsh-mac-use

在 macOS 上为 DeepSeek Harness 提供 computer-use 能力。

让智能体看见屏幕、驱动鼠标和键盘、打开应用和 URL ——与 Claude 的 computer 工具或 Codex computer-use 相同的「观察 → 执行 → 验证」循环，打包成单个 DeepSeek Harness 套件。

-lightgrey>)

为什么做这个

多数 computer-use 方案会附带一个独立的辅助二进制文件，它需要单独申请屏幕录制和辅助功能权限。dsh-mac-use 不需要：

- 只装插件，不带额外二进制。 所有逻辑都跑在 DeepSeek Harness Desktop 宿主进程里。截屏调用内置的 screencapture 工具；鼠标键盘操作和窗口检查通过 koffi FFI 库（npm 依赖）调用 macOS API。
- 权限直接由 Harness 应用申请。 插件运行在 Desktop 宿主里（Electron 应用的子进程），所以 macOS 检查屏幕录制和辅助功能权限时，认的是 DeepSeek Harness。这两项各授权一次即可 —— 永远不用授权给辅助程序。
- 虚拟智能体光标。 鼠标操作不会把你的真实指针丢在原地：点击落下后，你的光标立刻归位；同时一支蓝色箭头（白色描边，约 2 倍大小）在各操作点之间滑动，箭头尖端精确落在目标上 —— 任务完成后自动消失。

工具

| 工具 | 作用 |
| computer_screenshot | 截取屏幕（主显示器、某个区域、某个窗口或某台显示器），返回图像以及边界和像素→点缩放比例。 |
| computer_screen_info | 读取显示器几何信息（点）、光标位置和屏幕上的窗口列表（id、应用、标题、边界）。 |
| computer_move | 把智能体光标移到全局显示坐标 (x, y)（你的真实指针不受影响）。 |
| computer_click | 在 (x, y) 处点击 —— 左键/右键/中键，单击或双击。 |
| computer_drag | 从 (x1, y1) 拖拽到 (x2, y2)。 |
| computer_scroll | 在某个点或光标位置向上/下/左/右滚动。 |
| computer_type | 向当前聚焦的输入框键入任意 Unicode 文本。 |
| computer_key | 按下某个按键或组合键（字母、数字、方向键、return、tab、escape、F 键，以及 cmd/shift/option/control）。 |
| computer_open | 通过系统 open 命令打开 URL、文件或应用。 |

系统提示词里有一段内容教智能体这套工作流：观察 → 定位 → 把图像像素换算成全局坐标点 → 执行操作 → 再截一次图验证。

环境要求

- DeepSeek Harness Desktop（macOS 应用），运行在 macOS（Apple Silicon）上。
- 一个支持视觉的模型，才能完整地观察并操作（例如 deepseek-flash，它能读图）。纯文本模型仍可使用 computer_screen_info 和各个操作工具。

权限（只需设置一次）

1. 系统设置 → 隐私与安全性 → 屏幕录制 → 启用 DeepSeek Harness。
2. 系统设置 → 隐私与安全性 → 辅助功能 → 启用 DeepSeek Harness（鼠标/键盘输入需要它）。
3. 完全退出 DeepSeek Harness，再重新打开。

缺少某项权限？对应的工具会报错，并在消息里指明具体是哪一项设置。

安装

通过内置的插件管理器安装——不用敲 shell 命令，也不用手动改配置档。

从 npm 安装（推荐）：

dsh-mac-use

从 git 安装：

github:matyik/dsh-mac-use

在 Web 侧边栏：Plugins → Install bundle，输入上面任一 spec（或本地目录）。plugin_manager 工具的 install_bundle 也接受同样的目标。

唯一的依赖是 koffi@3.1.1（Desktop 运行时自带的版本）。它内置了预编译的 darwin-arm64 二进制，安装脚本只做一次快速的预编译检查——不编译。pnpm 11 可能会让你批准一次该脚本：点 Allow these scripts and retry，立刻就能装完。

坐标系

所有鼠标坐标都是全局显示坐标点，原点在主显示屏左上角（与 computer_screen_info 和各个点击工具用的是同一套坐标）。截图返回的是设备像素，所以 computer_screenshot 还会报告 bounds（坐标点）和 scale（每坐标点对应的图像像素数）：

x = bounds.x + px / scale
y = bounds.y + py / scale

配置

| 字段 | 默认值 | 含义 |
| virtualCursor | true | 使用虚拟智能体光标（点击后恢复你的指针位置）并显示蓝色箭头。设为 false 则把指针留在点击的位置。 |
| postDelayMs | 25 | 按下/释放事件之间的延迟。 |
| scrollAmount | 3 | 每步滚轮单位数。 |
| typeDelayMs | 0 | 每个字符的输入延迟。 |

安全

这些工具直接操作真实桌面，请把它们当作高权限能力对待。它们遵循智能体常规的权限/审批策略；请把它们放进一个会在执行前询问的预设中，并让智能体用后续截图复查操作结果。仅支持 macOS：在其他平台上工具仍会注册，但调用时报错。

贡献

欢迎提交 PR，请先阅读 CONTRIBUTING.md。

许可证

MIT © matyik