多模态识图插件AlloyPlane/dsh-eye-vision

dsh-eye-vision

给纯文本 DeepSeek Harness 模型装上"眼睛" —— 通过任意 OpenAI 兼容多模态 API 实现识图、OCR、UI 分析。

基于 dsh-free-vision（MIT）v1.0.1 改造，新增：

- custom 提供商修复 —— 正确传递 CUSTOM_MODEL_NAME，任意 OpenAI 兼容端点（GPT-4o、Qwen-VL、GLM-4V、youtu-vita、vLLM、Ollama…）真正可用
- 允许目录白名单 —— 视觉引擎可读取你配置的工作区目录，不再局限于引擎目录和主目录

工作原理

你发图片路径
→ 模型调用 image_understand 工具
→ 插件拉起 luma-mcp 视觉引擎（子进程）
→ 引擎调用你的多模态 API
→ 文字描述返回给纯文本模型

主模型无需支持图片输入。发路径，得答案。

特性

- image_understand 工具注册到 ctx.tools，profile 下所有会话可见
- 任意 OpenAI 兼容端点（custom 提供商）—— 自带多模态 API 即插即用
- 内置免费提供商：qwen（Qwen3-VL-Flash）、volcengine（豆包）、siliconflow（DeepSeek-OCR）
- 大图自动多裁剪保留细节
- 允许目录白名单（LUMA_ALLOWED_DIRS）
- 代理变量剥离，国内 API 直连
- 配置即时生效，无需重启

安装

本地目录安装
dsh plugin --profile web add D:/xd/dsh-eye-vision

发布后
dsh plugin --profile web add dsh-eye-vision

重启 dsh web 后工具 image_understand 即可用。

配置

配置文件：~/.dsh/free-vision.json（与上游同路径，可直接替换升级）：

{
"modelProvider": "custom",
"baseURLs": { "custom": "https://your-api.example.com/v1" },
"modelName": "your-vision-model",
"apiKey": "sk-...",
"allowedDirs": "D:/workspace",
"toolName": "image_understand"
}

也可用环境变量（优先级：配置文件 > 环境变量）：

| 提供商 | Key 环境变量 | Base URL 环境变量 |
|---|---|---|
| custom | CUSTOM_API_KEY | CUSTOM_BASE_URL + CUSTOM_MODEL_NAME |
| qwen | DASHSCOPE_API_KEY | QWEN_BASE_URL |
| volcengine | VOLCENGINE_API_KEY | VOLCENGINE_BASE_URL |
| siliconflow | SILICONFLOW_API_KEY | SILICONFLOW_BASE_URL |
| zhipu | ZHIPU_API_KEY | ZHIPU_BASE_URL |
| hunyuan | HUNYUAN_API_KEY | HUNYUAN_BASE_URL |

allowedDirs：引擎允许读取图片的额外目录（;或,分隔，默认仅引擎工作目录与用户主目录）。

使用

看图：D:/path/to/screenshot.png
OCR：D:/path/to/document.png
UI 分析：D:/path/to/design.png (task_type: ui)

工具参数：image_source（本地路径 / http(s) URL / data URI）、prompt、task_type（auto|general|ocr|ui|debug|describe）。支持 PNG/JPG/WebP/GIF，最大约 10MB。

安全

- API Key 只存在配置文件或环境变量中，绝不进入本仓库
- 图片只发送给你配置的端点
- 引擎子进程刻意剥离代理环境变量
- 推送前建议用 gitguard 之类的安全扫描

开发

cd dsh-eye-vision
pnpm install   # 安装 luma-mcp 引擎 + MCP SDK
pnpm test

引擎补丁由 scripts/patch-luma.mjs 在安装时自动应用（幂等，锁定 luma-mcp 1.7.1）。

许可证

MIT —— 见 LICENSE。上游：dsh-free-vision（MIT）by FuzzySoul。