caolong521/dsh-llm-image-bridge

dsh-llm-image-bridge

给 DeepSeek Harness(dsh) 用的「图片 → 文字」桥接插件。

DeepSeek 的 chat-completions 接口是纯文本的,带图片的提示词会被拒绝
(MODEL_DOES_NOT_SUPPORT_IMAGES)。本插件注册第二条 provider 路由,其适配器声明支持图片,
在每次生成前把图片块交给 Windows 内置 OCR(离线、免费、中英双语)转成文字,再委托给
真正的 DeepSeek 适配器 —— 同一个 API key 同时服务两条路由。

粘贴/拖图 → 选「DeepSeek (图片桥接)」provider → OCR 转文字 → DeepSeek 回答

多图自动支持:一条消息里贴多少张图,就逐张 OCR,各自带上「图片 1 / 图片 2 …」标记。

环境要求

- DeepSeek Harness(任意包含 dsh plugin 的版本)
- Windows(OCR 用系统引擎;非 Windows 需装 tesseract)
- 一个 DEEPSEEK_API_KEY

安装(二选一)

方式 A:直接 dsh plugin add(推荐)

先把本仓库推到 GitHub,然后:

dsh plugin --profile web add github:/dsh-llm-image-bridge

装依赖如果卡,是网络问题 —— 给 pnpm 配国内镜像:
pnpm config set registry https://registry.npmmirror.com

方式 B:clone 后 link: 安装

git clone https://github.com//dsh-llm-image-bridge.git
dsh plugin --profile web add link:/dsh-llm-image-bridge

启用

在 profile 组合的补丁层加一行(profile 自带的 cordis.patch.yml、
主目录级 $DSH_HOME/cordis.patch.yml,或 --patch 叠加文件):

- insert:
- id: llm-image-bridge
name: '@deepseek-ai/dsh-llm-image-bridge'

然后在模型选择器(/model 或输入框旁的模型位)里选 DeepSeek (图片桥接),
模型 id 不变(deepseek-v4-pro / deepseek-v4-flash),只换 provider 路由。

之后直接 Ctrl+V 粘贴截图 / 拖图进输入框 发送即可。

配置

- insert:
- id: llm-image-bridge
name: '@deepseek-ai/dsh-llm-image-bridge'
config:
provider: deepseek-image-bridge        # 拥有的路由 id
displayName: 'DeepSeek (图片桥接)'      # 选择器中显示的名称
backend: winrt-ocr                     # winrt-ocr | none
ocr:
languages: [zh-Hans-CN, en-US]       # 识别器顺序,已安装的都会执行
转发给 llm-deepseek 的连接信息;省略则与纯 DeepSeek 路由同默认值。
apiKeyEnv: DEEPSEEK_API_KEY
baseURL: https://api.deepseek.com
models:                                # 默认 V4 Flash + V4 Pro
- { id: deepseek-v4-pro, name: DeepSeek-V4-Pro }

原理

图片块在发送前通过准入(因为桥接 provider 声明了图片模态),图片持久化到会话日志;
生成时适配器把每个图片块替换成带标记的文本:

[图片内容已由 OCR 转为文字｜文件名: shot.png]

不含图片的请求按原引用转发,零开销。

限制

- DeepSeek 模型拿到的仍是文字而非像素:理解上限取决于 OCR 质量。
- 第一张图片会拉起一个 PowerShell 进程,每张图同步 OCR(通常 < 1 秒)。

测试

pnpm exec vitest run tests

License

MIT