通用视觉模型 Ever0330/universal-vision

@deepseek-ai/dsh-Universal-Vision

中文文档 | English

DeepSeek Harness 的通用视觉模型插件，支持使用任何配置的视觉模型进行图片描述。

概述

本插件为 DeepSeek Harness 提供视觉模型能力，允许 Agent 使用任何视觉模型描述图片。它与 harness 的 LLM 服务和附件系统集成。

解决的问题

- 使用任何视觉模型提供图片描述功能
- 与 DeepSeek Harness 的 LLM 服务（ctx.llm）集成
- 支持通过 harness 的凭证系统进行凭证管理
- 使 Agent 能够处理和描述图片
- 当主模型不支持图片时，自动将图片块替换为文本描述

实现原理

- 使用 harness 的 LLM 服务与模型通信
- 支持任何视觉模型（DeepSeek Vision、OpenAI Vision、Claude Vision 等）
- 注册 describe_image 工具用于显式图片描述
- 实现 llm/stream waterfall 用于自动图片替换
- 通过设置 > 模型页面进行配置

默认配置

默认配置使用 deepseek-official，复用你在 Settings > Models 中配置的 DeepSeek API Key。

自定义 API 配置（推荐）

默认配置使用 DeepSeek，但你可以配置其他视觉模型：

方式1：修改 cordis.patch.yml

- id: universal-vision
name: '@deepseek-ai/dsh-Universal-Vision'
config:
provider: deepseek-official # 或 'openai'、'anthropic' 等 model: deepseek-v4-flash # 可选，覆盖默认模型

支持的提供商

| 提供商 | 模型 | 需要 API Key |
| DeepSeek | deepseek-v4-flash | 是（复用 DeepSeek 配置） |
| OpenAI | gpt-4o、gpt-4-vision-preview | 是 |
| Anthropic | claude-3-opus、claude-3-sonnet | 是 |
| 任何视觉模型 | - | 取决于提供商 |

配置选项

| 选项 | 类型 | 默认值 | 描述 |
| provider | string | deepseek-official | 提供商类型 |
| model | string | 根据提供商 | 视觉模型名称 |

功能

describe_image 工具

插件注册了一个 describe_image 工具，该工具：
- 读取图片文件（PNG、JPEG、WebP、GIF）
- 将其保存为附件
- 返回详细的文本描述

自动图片替换

当主模型不支持图片时：
- 自动检测请求中的图片块
- 调用视觉模型描述每张图片
- 将图片块替换为文本描述
- 允许纯文本模型处理图片内容

需要修改的 DeepSeek Harness 文件

如果作为独立插件安装，需要修改：

1. packages/bundle/base/package.json - 添加依赖： "@deepseek-ai/dsh-Universal-Vision": "workspace:^"

2. packages/bundle/base/cordis.patch.yml - 添加插件条目：
- id: universal-vision
name: '@deepseek-ai/dsh-Universal-Vision'

3. packages/host/apiproxy/package.json - 添加依赖： "@deepseek-ai/dsh-Universal-Vision": "workspace:^"

4. packages/host/apiproxy/tsconfig.json - 添加引用： { "path": "../../core/universal-vision" }