安卓后台自动化 AcidGr/dsh-preset-mobile-use

DSH 智能体预设：Mobile Use

中文说明

dsh-preset-mobile-use 是给 DeepSeek Harness (DSH) 用的 Mobile Use 预设（Preset）。

安装后，DSH 里的智能体可以直接操作 Android 手机上的应用：查看屏幕、点击、滑动、输入文字、切换前后台。

实测记录：用系统画笔手绘一幅画

📺 B站高清实机演示视频：https://www.bilibili.com/video/BV1WYeS6YEwt

以下是真实任务记录：用户只在 DSH 提了一条自然语言指令 “去我的便签里面，用绘制的方式（用系统的笔）随便画一幅画吧！要手绘噢！”。

智能体自动在后台独立副屏里拉起系统便签、选择系统画笔，经过 105 步高精度触控笔触自主规划与滑动绘制，一手一手、一笔一划 纯手绘完成了整幅细腻的《手绘田园风景画》（远山、房屋烟囱、大树、小花、太阳与小路）：

| DSH 交互与执行全流程 (1 轮 105 步) | 智能体纯手绘作画最终成品 (系统便签内) |

整个创作过程完全在后台虚拟副屏静默完成，手机物理主屏完全不抢占前台、不打扰用户日常使用！

重要前置条件与硬性依赖（必读）

本预设专门用于在已获得 Root 权限的 Android 手机上本地执行，不能脱离手机环境单独运行！

1. 强依赖 KSU 底座模块：
- 本预设必须配合底层驱动模块 agent-mobile-use 一起使用；
- 必须先在手机上通过 KernelSU / APatch / Magisk 刷入 agent-mobile-use-ksu.zip（最新版 v0.8.10），并保持后台 vd_server 网关服务运行（默认监听 http://127.0.0.1:3070）。
2. 手机环境要求：
- 操作系统：Android 15 / Android 16（实测实验环境基于 ColorOS 16，Linux 6.12 内核）；
- Root 与 Xposed：手机必须拥有完整的 Root 特权，并建议启用 LSPosed 挂载模块内的隐形补丁以实现流体云交互通知。

核心特性

- 完全后台静默 (Headless Execution)：自动化应用在系统内存中的独立虚拟副屏（Display > 0）上渲染与操作，手机物理主屏不跳前台、不抢焦点、可以正常日常使用或息屏。
- 超高精度物理手势调度：支持精细毫秒级滑动、贝塞尔拟合触控，不仅能点按 UI 控件，甚至能实现像素级的连续自主手绘与拖拽。
- 双模感知 (Dual Perception)：提供扁平化元素列表（每元素一行的扁平文本：状态行 + 列名单行 + id type "name" x1,y1,x2,y2 flags）与实时副屏高分辨率快照（JPEG q92 降采样透传）。
- 免软键盘文字灌入 (Silent Text Injection)：通过系统的无障碍剪贴板与原生文本注入，中英文长难句与符号一键送达，完全不在主屏弹出软键盘。

包含的智能体工具集

预设在 DSH 会话中注入了以下标准原子工具：

| 工具名称 | 功能描述 |
| mobile | 移动端统一操控与感知核心工具：集成了屏幕状态观测（observe，默认回传扁平控件树，支持 screenshot=true 附带视觉快照）、物理触控（click，支持绝对坐标与节点 ID 自动居中）、滑动手势（swipe）、文本注入（set_value，按目标节点直接设置文本值）、真实文字输入（type，支持粘贴与键盘事件流，触发响应式状态监听并解锁按钮）、系统物理按键（key）、延时等待（wait）、应用定向启动（launch_app）、已装应用检索（list_apps）及三态运行模式切换（switch_mode，支持 foreground / background / idle 带应用自动迁移）。任何物理操作均自动捕获执行后的最新屏幕状态并返回单轮闭环结果。 |

提示（零开销自动通知与交互确认）：
- 宿主系统已自动监听 todo_write 的待办状态，任何任务进展都会在后台静默实时同步更新至 Android 状态栏与流体云通知。
- 在触发 ask_user_question 等交互提问时，手机端将弹出原生 BottomSheet 卡片与流体云胶囊，支持在手机与 Web 界面双向极速确认。

安装与使用方法

1. 克隆本仓库：本预设通过仓库直接安装。DSH 同时读取 preset/mobile-use/（源码）与 lib/index.js（npm 包入口），两者必须一致，所以安装与更新都走同一个脚本。
2. 执行安装： ./install.sh

脚本会依次完成：真加载校验（check-preset.mjs）→ 同步 preset/mobile-use/ 到 ${DSH_HOME:-$HOME/.dsh}/.agent-presets/mobile-use/ → 同步 preset/mobile-use/mobile_plugin.js 到 lib/index.js。校验不通过就拒绝安装，一个字节都不写。
3. 启动会话：刷新或重新打开 DSH Web 界面（http://127.0.0.1:3080），在右上角预设选择器中切换为 mobile-use，即可直接开始指挥手机执行自动化任务！
开发这个仓库的人注意：DSH 加载的是 ${DSH_HOME:-$HOME/.dsh}/.agent-presets/mobile-use/，那是本仓库 preset/mobile-use/ 的一份拷贝，不是软链 —— 只改仓库不会生效。改完请执行： ./install.sh # 先做真加载检查，不通过就拒绝安装、一个字节都不写

check-preset.mjs 会真正 import 插件、跑一遍 apply()、并按 DSH 的规则校验每个已注册的工具。不要用 node --check 代替它：对含 import 的文件它按 CommonJS 解析，真语法错误也会返回 0。装进去一份加载不了的插件会让 DSH 无法恢复该工作区的任何会话（preset "mobile-use" failed to mount）。
装完后 agent.cordis.yml 即时生效；mobile_plugin.js 要重启 DSH 才会重新挂载。

英文说明

dsh-preset-mobile-use 是 DeepSeek Harness（DSH） 的 Mobile Use 预设。

安装完成后，DSH 智能体可以直接操作 Android 手机上的应用：读屏、点击、滑动、输入文字，还能在前台与后台之间切换。

真实案例展示：自主手绘作品（纯运动精度）

📺 Bilibili 展示视频：https://www.bilibili.com/video/BV1WYeS6YEwt

下面是一份真实执行记录：用户在 DSH 里输入提示词：「去我的系统备忘录应用，用系统画笔给我画一幅画！必须是手绘！」

智能体自主打开了无头虚拟显示上的备忘录应用，选中绘画笔刷，连续执行 105 步精确滑动，一笔一笔，画出一幅完整的风景画（山、冒烟的烟囱小屋、树、花、太阳、小路）：

| DSH 执行工作流（1 轮，105 步） | 备忘录应用里的最终手绘作品 |

整个绘制过程都在后台虚拟显示里静默执行，完全不打扰物理屏幕上的前台使用！

强制前置条件与硬依赖

本预设专为在已 root 的 Android 设备上直接运行而设计。没有底层 Android 系统，在裸桌面或服务器上无法使用！

1. 底层 KSU 模块依赖：
- 需要配套的底层驱动模块：agent-mobile-use。
- 你必须先在 Android 设备上通过 KernelSU / APatch / Magisk 刷入 agent-mobile-use-ksu.zip（最新 v0.8.10），并确保后台 vd_server 网关处于活动状态（默认：http://127.0.0.1:3070）。
2. 目标设备环境：
- 系统：Android 15 / 16（已在 ColorOS 16、Linux Kernel 6.12 上验证）；
- Root 与 LSPosed：需要完整 Root 权限；建议装 LSPosed，用于 Fluid Cloud 通知钩子。

核心特性

- 100% 后台无头执行：应用完全运行并渲染在独立的第二块虚拟显示（Display > 0）上。物理显示 0 完全不受打扰。
- 精确手势控制：支持精细触摸手势和微滑动，可驱动创意画布绘图。
- 双感知引擎：把扁平的元素列表（每行一个元素，坐标已是绝对显示像素）与实时视觉截图结合起来。
- 静默文本注入：直接把中文、数字、符号和长段落注入输入目标，不弹出屏幕软键盘。

预设安装

1. 克隆本仓库。DSH 会同时读取 preset/mobile-use/（源）和 lib/index.js（npm 包入口），两者必须保持一致，所以安装和更新都走同一个脚本。
2. 运行安装脚本： ./install.sh

它会先对插件做加载测试（check-preset.mjs），再把 preset/mobile-use/ 同步到 ${DSH_HOME:-$HOME/.dsh}/.agent-presets/mobile-use/，然后把 preset/mobile-use/mobile_plugin.js 同步到 lib/index.js。如果加载测试不通过，脚本不会写入任何内容。
3. 打开 DSH Web UI（http://127.0.0.1:3080），在右上角的预设下拉框里选择 mobile-use，然后开始输入提示词！

正在改这个仓库？ DSH 加载的是 ${DSH_HOME:-$HOME/.dsh}/.agent-presets/mobile-use/，它是 preset/mobile-use/ 的副本，不是符号链接，所以只改仓库不会生效。任何改动之后都要运行 ./install.sh：它会用 check-preset.mjs 对插件做加载测试，装不上的一律拒绝安装。
不要拿 node --check 当这道关卡——对使用 ESM 语法的文件，它会按 CommonJS 解析，即使真有语法错误也照样以 0 退出。装上无法加载的插件，DSH 就无法恢复工作区里的任何会话（preset "mobile-use" failed to mount）。
agent.cordis.yml 立即生效；mobile_plugin.js 需要重启 DSH 才能重新挂载。

License

Released under the MIT License.