识图模型修复 qwqasdna/dsh-plugin-auto-vision

dsh-plugin-auto-vision

DeepSeek Harness 插件：找出支持识图却被声明为纯文本的模型并修复（见 Discussion #112）。

问题

通过 llm-pi-ai 接入第三方渠道（OneAPI、CLIProxyAPI、OpenRouter、魔搭等）时，没有声明 input: [text, image] 的模型默认按纯文本处理。请求发出前，DSH 会把所有图片替换成

[image omitted because this model accepts text only; attachment sha256:…]

于是 Claude / GPT / Gemini 也会回答“我看不到图片”，read_image 同样会被拒绝。

它做什么

注册一个工具 auto_vision：

| action | 作用 |
| diagnose（默认） | 只读。列出“看起来支持识图、却声明为纯文本”的模型；verbose: true 列出全部。 |
| fix | 先预览。加 apply: true 才会通过 Host 的 configEditor，把 input: [text, image] 写入你自己的 llm-pi-ai 补丁层（校验、原子写入、热重载）。 |

对 Agent 说：“运行 auto_vision 诊断”，再说“修复”。

行为说明：

- 它改的是配置，不做运行时劫持。运行时劫持行不通：llm-pi-ai 会用自己内部的模型快照再校验一次。
- 已写在你 models 里的模型，直接给该条目加 input；否则写到 modelOverrides。如果模型来自下层的 models 列表，会跳过并在结果里报告，因为 modelOverrides 不能和 models 并存。
- Host 进程里有 DSH_PROFILE_DIR 时结果带 backup 路径；没有时返回 backupSkipped 和原因。

规则

按模型家族匹配，并且偏保守：漏判只会让模型保持纯文本（现状），误判则会让服务商对图片返回 400。内置家族包括 GPT-4o/4.1/5、o1/o3/o4、Claude 3+、Gemini、Qwen-VL/Omni、GLM-V、InternVL、ERNIE-VL、Llama 3.2 Vision/4、Pixtral、LLaVA、MiniCPM-V、DeepSeek-VL。嵌入、语音、视频和生图类（veo、imagen、flux 等）会被排除。

配置

- id: auto-vision
name: dsh-plugin-auto-vision
config:
include: [] # 额外视为支持识图的 id，支持 * / ? 通配
exclude: [] # 永不视为支持识图的 id 或通配（优先于 include）

exclude 对完整 id（或 org/ 之后的部分）做精确或通配匹配，不再是子串匹配。

安装

通过插件管理器安装该目录或 git 源（也可以让 Agent 用 plugin_manager）。目前未发布到 npm。

开发

node --test tests/rules.test.mjs

许可证

MIT