鲸鱼之眼 soso985/dsh-whaleyes

dsh-whaleyes 🐳

DSH（DeepSeek Harness）外挂识图插件 —— 鲸鱼之眼

给纯文本模型（DeepSeek / GLM 等）补上视觉能力：拖图/贴图自动识图，支持结构化 JSON 证据、多引擎容错、常用模型一键切换。

基于 @linenxi-ctrl/dsh-vision（MIT）深度改造：新增结构化证据模式、多引擎容错、拖拽/粘贴自动识图、面板翻新（可滚动 / 常用模型胶囊 / 填 key 自动拉取模型列表 / 高级选项折叠）。

特性

- 🖼️ 拖图/贴图自动识图：把图片拖进聊天窗口或 Ctrl+V 粘贴，自动交给外挂视觉模型，识别文本自动回传会话（无需点按钮）
- 📋 结构化 JSON 证据模式（借鉴 ModLens）：ocr_text 逐字转录 + layout_regions 版面区域 + entities 实体清单 + summary，精确 OCR 与密集图表更强
- 🔁 多引擎容错：主引擎失败自动切换备用引擎（智谱 GLM-4V-Flash 主 + Gemini 备等）
- 🐳 鲸鱼按钮 + 配置面板：可滚动、常用模型快捷选择（智谱 / Gemini / OpenAI 一键切换）、填完 API 地址和密钥自动拉取模型列表点选
- 📸 模型自主识图：screenshot + recognize_image 工具（agent 可自行截图识图）
- 🌐 多协议：OpenAI / Gemini / Anthropic / custom，任意 OpenAI 兼容视觉端点都能接

安装（DSH web profile）

方式一：dsh plugin add（推荐，需 pnpm）

dsh plugin --profile web add dsh-whaleyes

方式二：手动（无需 pnpm）

1. 把本包复制到 $DSH_HOME/profiles/web/node_modules/dsh-whaleyes/
2. 在 $DSH_HOME/profiles/web/package.json 的 dependencies 加 "dsh-whaleyes": "1.0.0"，并在 dsh.profile.bundles 加 "dsh-whaleyes"
3. 重启 dsh web，强刷页面

识图工具（可选，agent 自主截图识图）

把 lib/tool.js 挂到 agent preset：

.agent-presets/<你的preset>/agent.cordis.yml
- id: tool-vision
name: '<dsh-whaleyes 绝对路径>/lib/tool.js'

配置（$DSH_HOME/settings.yaml 的 vision 段，或鲸鱼按钮面板）

vision:
apiBase: https://open.bigmodel.cn/api/paas/v4 # 主引擎（智谱） apiKey: <智谱 key，格式 id.secret> model: glm-4v-flash protocol: auto structured: true # 结构化 JSON 证据模式 structuredPrompt: | # 结构化提示词模板（可覆盖）你是专业的图像证据提取助手……
backups: # 备用引擎（主失败自动切换）
- apiBase: https://generativelanguage.googleapis.com/v1beta
apiKey: <Gemini key>
model: gemini-2.0-flash
protocol: gemini

免费引擎推荐：智谱 GLM-4V-Flash（bigmodel.cn 注册，key 格式 id.secret）；备用可选 Gemini 2.0 Flash（aistudio.google.com，免绑卡）。

使用

1. 重启 dsh web，强刷页面
2. 打开会话，拖图 / 贴图 → 自动识图 → 文本回传
3. 或点右下角 鲸鱼按钮 → 配置面板 → 📤 发送图片
4. 想让 agent 自己看图：在配置面板开启后，直接说"看看我屏幕上的报错"（需挂载 lib/tool.js 到 agent preset）

鸣谢

- 原项目：@linenxi-ctrl/dsh-vision（MIT）—— 鲸鱼按钮、多协议、识图服务
- 灵感：ModLens 的结构化 JSON 证据

License

MIT。本项目为 @linenxi-ctrl/dsh-vision 的深度改造分支，保留原作者版权声明（见 LICENSE）。