浏览器操控 mgallo/dsh-browser

dsh-browser-driver

为 DeepSeek Harness 提供浏览器控制：一个 /browser 斜杠命令，外加一组 browser_ 工具，对应 Claude Code 的 /chrome 体验。

该 agent 通过 playwright-core 驱动一个专用 Web 浏览器——默认使用 Google Chrome，但也可通过配置使用任意 Chromium、Firefox 或 WebKit 浏览器。它可以检查页面（无障碍快照）、点击/输入/导航、截取屏幕截图，并读取控制台/网络输出。

工作原理

- /browser [browser] [url] 启动所配置的浏览器——或由第一个参数指定的特定浏览器（例如 edge、firefox）——可选地导航到 url，并唤醒 agent，使其能够继续使用浏览器工具。
- browser_ 工具在插件加载时注册，并对共享的浏览器会话进行操作。如果浏览器未打开，它们会自动启动它（可配置），或返回一个可恢复的提示。
- 主要的模型接口是无障碍快照（browser_snapshot），这是一个类似 YAML 的文本树，带有可点击元素的引用（[ref=e2]）。这一点很重要，因为 DeepSeek 模型仅支持文本；屏幕截图会保存到磁盘供人类查看。
- 此 v1 版本不需要浏览器扩展。只有在驱动用户现有的浏览器会话（他们打开的标签页/登录状态）时才需要它；参见路线图。

要求

- Node.js 24+。
- 一个 DeepSeek Harness 安装或源码检出。
- 至少一个浏览器。在无配置的情况下，插件使用已安装的 Google Chrome（channel: 'chrome'）。对于其他浏览器，请配置 browserType / channel / executablePath（参见配置）。

安装

dsh web 是 --profile web（GUI 配置文件）的固定别名，而使用
dsh plugin --profile add … 初始化的自定义配置文件只包含
基础 bundle——不包含 Web 应用。因此浏览器插件要放入 web 配置文件，以获得 GUI 加浏览器工具：

dsh plugin --profile web add ./path/to/dsh-browser
dsh web

从 harness 的源码检出中，相同的命令使用 pnpm dsh：

pnpm dsh plugin --profile web add /path/to/dsh-browser
pnpm dsh web

pnpm build 必须首先生成 lib/（dsh plugin add 会链接
检出目录，但不会构建它）。

如果你从 git 主机安装，该包必须附带构建产物或自包含的 prepare 脚本（参见 harness 发布指南）。

快速本地开发加载（无需安装）

先构建，然后将构建后的入口作为补丁覆盖层加载到 web 配置文件上：

node scripts/link-dev.mjs /path/to/deepseek-harness
pnpm build
pnpm dsh web --patch /path/to/dsh-browser/dev.patch.yml

dev.patch.yml 已被 gitignore：复制 dev.patch.yml.example 并设置你的检出目录的绝对路径（加载器不会对补丁路径进行重定位）。

用法

在 Web UI 中，输入：

/browser https://example.com

要打开特定浏览器，请先放置其别名：

/browser edge https://example.com
/browser firefox https://example.com
/browser chrome

支持的别名：chrome、chromium、edge / msedge、firefox、webkit。省略别名将使用配置的默认值（Chrome）。需要 executablePath 的浏览器（例如 Brave）通过配置设置，而不是传递给快捷方式。切换浏览器会关闭当前浏览器，并在每个浏览器的配置文件（~/.dsh/browser-profile/）中重新打开它。

然后正常提示代理；它可以调用 browser_snapshot、browser_click、browser_type、browser_navigate 等。

工具

| 工具 | 用途 |
| browser_open | 启动/连接浏览器（可选 URL）。 |
| browser_navigate | 转到某个 URL。 |
| browser_snapshot | 以文本形式呈现可访问性树，并带有可点击的 ref。 |
| browser_click | 通过 ref、精确 text 或 CSS selector 点击。 |
| browser_type | 向元素中输入字符。 |
| browser_fill | 替换输入框的值。 |
| browser_press_key | 按下某个键/组合键（Enter、Control+a 等）。 |
| browser_screenshot | 将 PNG 保存到 ~/.dsh/browser-screenshots 下。 |
| browser_wait_for | 等待 ms 或直到 text 可见。 |
| browser_evaluate | 求值一个 JS 表达式并返回 JSON。 |
| browser_go | back / forward / reload。 |
| browser_tabs | list / new / close / switch。 |
| browser_console | 最近的控制台消息。 |
| browser_network | 最近的请求 + 状态码。 |
| browser_close | 关闭会话。 |

配置

在 cordis.patch.yml 中的 browser 行下设置（所有字段都有默认值）：

| 字段 | 默认值 | 描述 |
| browserType | chromium | 引擎系列：chromium、firefox 或 webkit。 |
| channel | '' | Playwright 通道（chrome、msedge、chromium、firefox 等）。空值会选择引擎默认值——chromium 对应系统 Google Chrome。 |
| headless | false | 在没有可见窗口的情况下运行。 |
| executablePath | '' | 浏览器二进制文件的绝对路径；空值 = 通道默认值。 |
| userDataDir | '' | 持久化配置文件目录；空值 = ~/.dsh/browser-profile/。 |
| connectEndpoint | '' | 通过 CDP（例如 http://127.0.0.1:9222）附加到正在运行的 Chromium，而不是启动它。 |
| autoLaunch | true | 当没有打开任何浏览器时，工具会自动启动浏览器。 |
| viewport | { width: 1280, height: 800 } | 新上下文的视口。 |
| timeoutMs | 15000 | 默认操作超时时间。 |

Chrome 是回退选项：当 browserType: chromium 且没有 channel/executablePath 时，插件会启动已安装的 Google Chrome。

Microsoft Edge

- insert:
- id: browser
name: dsh-browser-driver
config:
browserType: chromium
channel: msedge

Firefox

通过 executablePath 使用你的系统 Firefox，或者安装 Playwright 的 Firefox 并使用 channel: firefox：

- insert:
- id: browser
name: dsh-browser-driver
config:
browserType: firefox
executablePath: /Applications/Firefox.app/Contents/MacOS/firefox

WebKit / Safari

- insert:
- id: browser
name: dsh-browser-driver
config:
browserType: webkit
executablePath: /path/to/WebKit

注意： playwright-core 不附带任何捆绑的浏览器。chrome/msedge 通道使用你的系统浏览器；chromium/firefox/webkit 通道需要 Playwright 捆绑的浏览器（npx playwright install）或一个 executablePath。

附加到正在运行的 Chromium

- insert:
- id: browser
name: dsh-browser-driver
config:
connectEndpoint: 'http://127.0.0.1:9222'

CDP 附加仅适用于 Chromium；如果将 connectEndpoint 与 chromium 以外的 browserType 一起设置，插件会以一个明确的错误失败。

开发

一次性操作：链接 harness 的内置包 + playwright-core + 工具链
node scripts/link-dev.mjs /path/to/deepseek-harness

pnpm typecheck # tsc --noEmit
pnpm build # tsdown -> lib/index.js

该插件仅限宿主环境（Node）。lib/index.js 是一个单一的 ESM 包，将 @deepseek-ai/、playwright-core 和 Node 内置模块保留为外部依赖：harness 从安装回退路径解析内置包，而 playwright-core 由 pnpm 安装到 profile 中。

路线图

- 通过 ctx.attachments（ImageBlock）为多模态模型提供内联截图渲染。
- 浏览器扩展 + 原生消息传递，以驱动用户现有的浏览器会话（他们打开的标签页和登录状态）。
- 一个用于拖拽/滚动和文件上传的 browser_ 工具。

许可证

MIT