桌面 UI 取景器 Fish121380/auto-mouse

Little Mouse Pointer

English README

本仓库提供 Little Mouse Pointer：一个面向 AI agent 的 Windows 桌面 UI context picker。用户可以用鼠标选择窗口、UI 元素或屏幕区域，通过 UI Automation、截图和本机 OCR 获取上下文，并在确认后通过 MCP 提供给 OpenAI Codex、DeepSeek Harness 或其他兼容客户端。

插件目录为 plugins/little-mouse-pointer。完整功能、协议和运行时说明见插件目录中的 README。

文档导航

- 新手教程：第一次安装、首次选取和常见问题的完整流程。
- 新手安装检查表：按 Codex、DeepSeek Harness 和手动运行场景逐项确认。
- 插件完整 README：功能、使用流程、隐私限制和故障边界。
- 运行时说明：self-contained 运行包、run.ps1 和 MCP stdio 行为。
- DeepSeek Harness 配置：bundle 不可用时的手工 Cordis 配置。
- 协议说明：工具输出字段和确认流程。

从 GitHub 安装到 Codex

在 PowerShell 中执行下面的命令，把 OWNER/REPOSITORY 替换成实际 GitHub 仓库：

codex plugin marketplace add OWNER/REPOSITORY --ref main
codex plugin add little-mouse-pointer@auto-mouse

如果只需要下载插件目录，可以使用 GitHub release zip，或在本地安装 plugins/little-mouse-pointer 这一层。不要把仓库根目录误当成直接插件根目录。

接入 DeepSeek Harness

复制 中文安装检查表 或 English installation checklist，再参考 DeepSeek Harness 配置，把路径改成实际目录。MCP stdio 必须直接启动：

plugins/little-mouse-pointer/app/MousePointer.Windows.exe

不要通过 run.ps1 作为 MCP stdio bridge；run.ps1 只用于手动启动 GUI 和 self-test。

从 GitHub 直接安装 Harness bundle

仓库根目录同时提供符合 Harness dsh.bundle 规范的安装包。建议固定发行版 tag：

dsh plugin --profile demo add github:Fish121380/auto-mouse#v0.1.1
dsh --profile demo --dump-config

该 bundle 会自动定位自己携带的 Windows x64 exe，并注册 @deepseek-ai/dsh-mcp-client。它只适用于 Windows x64；端口可在 profile 的 cordis.patch.yml 中覆盖：

- replace:
- id: little-mouse-pointer
config:
port: 49154

安装前检查

- Windows 10/11 x64。
- 不需要安装 .NET，发行包已经 self-contained。
- 保留 plugins/little-mouse-pointer/app 的全部文件。
- 默认端口为 49153，endpoint 和 MOUSE_POINTER_HTTP_PORT 必须一致。
- Codex/Harness 运行前关闭旧的 Little Mouse Pointer 实例。
- MCP 工具为 ui_context_pick、ui_context_current、ui_context_clear。