baldovinmarques391-design/dsh-plugin-glm-vision

dsh-plugin-glm-vision

给 DSH (DeepSeek Harness) 加上“看图”能力的插件。

即使你用的模型本身不支持图片（比如纯文本的 DeepSeek），装了这个插件后，用户发送的图片会被自动转发给智谱 GLM-4V-Flash 视觉模型，生成的文字描述会注入对话中，让模型“看到”图片内容。

它能做什么

- 自动图片翻译：用户上传图片 → 插件拦截 → 调用 GLM-4V-Flash 生成描述 → 作为文本发给模型
- image_query 工具：模型可以主动调用这个工具来分析任意图片（支持多张）
- 图片缓存：相同图片不会重复请求 API（SHA-256 去重）
- 多图支持：一条消息里发多张图片，每张都会被分别描述
- 旧对话兼容：已在进行中的对话也能识别新发的图片

安装

前提条件

- DSH 已安装且可正常运行
- pnpm 已安装
- 智谱 AI 的 API Key（申请地址）

第一步：安装插件

dsh plugin --profile web add git+https://github.com/baldovinmarques391-design/dsh-plugin-glm-vision.git

安装后需要手动将 dsh-plugin-glm-vision 添加到 bundles 列表。编辑 $DSH_HOME/profiles/web/package.json，在 dsh.profile.bundles 数组中加入 "dsh-plugin-glm-vision"：
"dsh": {
"profile": {
"bundles": [
"@deepseek-ai/dsh-base",
"@deepseek-ai/dsh-web-app",
"dsh-plugin-glm-vision"
]
}
}

第二步：配置 API Key

在 $DSH_HOME/.credentials.yaml 中添加：

GLM_API_KEY: 你的智谱API密钥

第三步：重启 DSH

重启后，控制台应出现以下日志，表示插件加载成功：

dsh-plugin-glm-vision: loaded (model: GLM-4V-Flash, cache: 0 entries).
dsh-plugin-glm-vision: image translation layer active.
dsh-plugin-glm-vision: all modules active.

配置项

插件安装后会自动在 DSH 设置界面中显示配置项。也可通过 cordis.patch.yml 手动配置：

| 配置项 | 默认值 | 说明 |
|--------|--------|------|
| glmApiKeyEnv | GLM_API_KEY | 存放 API Key 的环境变量名 |
| toolTimeoutMs | 120000 | image_query 工具超时时间（毫秒） |
| model | GLM-4.1V-Thinking-Flash | 使用的 GLM 模型名 |
| autoTranslate | true | 是否自动翻译图片 |
| enableTool | true | 是否注册 image_query 工具 |

工作原理

用户发送图片
↓
插件拦截消息，提取图片
↓
调用 GLM-4V-Flash API 生成图片描述
↓
用文字描述替换原始图片
↓
模型收到文字描述，正常回复

同时，插件会注册 image_query 工具，模型可以在任何时候主动调用来分析图片。

测试结果

| 场景 | 结果 |
|------|------|
| 单张图片 | ✅ 正确识别并描述 |
| 两张图片同时发送 | ✅ 分别描述每张图片 |
| 旧对话中发新图片 | ✅ 描述图片 + 保持上下文 |
| 纯文本对话 | ✅ 正常工作，不影响 |
| 进程稳定性 | ✅ 无崩溃 |

已知限制

- GLM-4V-Flash 的 max_tokens 上限为 1024，图片描述可能不够详细
- 需要对 DSH 内置的 LLM 适配器进行源码级 patch（插件启动时自动处理，但 DSH 更新后 patch 会丢失）

许可证

MIT