接入本地多模态模型,让助手读取图片内容
28.2/100
综合分
1
GitHub 星标
—
npm 周下载
—/5
用户评分
数据截至 2026/9/16 · 周下载取自 npm 全网(含 CI / 镜像),非本站安装数;综合分由星标、活跃度与兼容性检查合成。
安装命令 · 需先装 dsh CLI 引擎
dsh plugin --profile web add TIPSONG/dsh-vision-api-localorweb该包不可直接 npm 安装,改从 GitHub 源安装(明细见下方安装检查)
状态速览
判定依据:实装验证 · 静态安装检查 · 自动扫描 · 仓库维护状态信任档位:已验证
是什么
dsh 原生插件 · vision
安全吗
本站尚未对该插件做风险分级
暂未覆盖,不等同于无风险
还在维护吗
更新放缓:最近一次提交在 74 天前
档位由哪些信号合成
本站实装验证(真实安装 L4 覆盖全站;L5 为运行时冒烟或实机截图,覆盖范围小于 L4) · 验证所用 dsh 版本 · 静态安装检查 · 风险分级 · 仓库维护状态。 下方各区块是它的证据明细。
社区实装还没有人打卡 · 装过的第一个就是你
安全扫描自动 · 静态分析源码v2.7.0🔵 扫描:含敏感能力尚无人工评估展开查看扫描说明与证据 ↓
安全扫描自动 · 静态分析源码
v2.7.0静态扫描发现插件具备触达本地系统的能力:执行外部命令、读写/删除本地文件、读取剪贴板或密钥类环境变量(至少其一)。这是能力清单,不是危险判定——具体能力项与证据见下方,安装前请自行判断是否需要。
读写/删除本地文件发起外部网络请求
查看扫描证据(共 12 处,展示前 12 条)
- 读取本地文件lib/index.js:27
return readConfig(JSON.parse(await readFile(configFilePath(), "utf8"))); - 写入本地文件lib/index.js:34
await mkdir(dirname(path), { recursive: true }); - 写入本地文件lib/index.js:35
await writeFile(path, JSON.stringify(cfg, null, 2) + "\n", "utf8"); - 读取本地文件lib/index.js:224
const buf = await readFile(args.image_path); - 发起网络请求lib/client.js:64
const res = await fetch(CONFIG_ROUTE, { headers: { accept: "application/json" } }); - 发起网络请求lib/client.js:69
const res = await fetch(CONFIG_ROUTE, { - 发起网络请求src/client.ts:60
const res = await fetch(CONFIG_ROUTE, { headers: { accept: 'application/json' } }) - 发起网络请求src/client.ts:67
const res = await fetch(CONFIG_ROUTE, { - 读取本地文件src/index.ts:67
return readConfig(JSON.parse(await readFile(configFilePath(), 'utf8'))) - 写入本地文件src/index.ts:76
await mkdir(dirname(path), { recursive: true }) - 写入本地文件src/index.ts:77
await writeFile(path, JSON.stringify(cfg, null, 2) + '\n', 'utf8') - 读取本地文件src/index.ts:327
const buf = await readFile(args.image_path)
扫描于 2026/11/3(1 天前) · 范围 入口闭包 + 发布文件清单 · 来源 GitHub 仓库
静态扫描只反映源码中出现的调用,不构成安全背书;人工评估与自动扫描相互独立、互不覆盖。
依赖的 DSH / Cordis 模块
@deepseek-ai/cordis@deepseek-ai/dsh-client-ui-slots@deepseek-ai/dsh-tools给这个插件打分还没有人投票↓
用户评分
还没有人投票,来当第一个
功能亮点
- 接入本地多模态模型
- 读取图片内容
README
由 DeepSeek 最新模型翻译生成🖼 dsh-vision-api-localorweb
接入本地识图模型 API —— 给你的 DSH 助手装上一双「本地眼睛」。
用 LM Studio / vLLM / Ollama 里的多模态模型来识图,数据不出本机。
✨ 为什么需要它
DSH 助手默认不「看」图片。这个插件把你本地已有的识图模型(比如 LM Studio 里跑着的 Gemma 4E)接进来:
- 🔌 一行接入:填个 OpenAI 兼容接口地址 + 模型名,即可启用
- 🔒 数据不出本机:图片只发给你自己的模型,不经过任何云端
- ⚙️ 留空即关闭:接口地址留空 = 不启用识图,零副作用
- 🎛 图形化配置:设置界面里直接填,不用碰配置文件
🚀 快速开始
dsh plugin --profile web add "github:TIPSONG/dsh-vision-api-localorweb#main"
本插件声明了 dsh.bundle.patch,dsh plugin add 会自动挂进 profile 层栈,无需手写 insert 行。装完重启 web 生效。
展开完整文档(README 剩余 1 节)
🖼 dsh-vision-api-localorweb 接入本地识图模型 API —— 给你的 DSH 助手装上一双「本地眼睛」。 用 LM Studio / vLLM / Ollama 里的多模态模型来识图,数据不出本机。 ✨ 为什么需要它 DSH 助手默认不「看」图片。这个插件把你本地已有的识图模型(比如 LM Studio 里跑着的 Gemma 4E)接进来: - 🔌 一行接入:填个 OpenAI 兼容接口地址 + 模型名,即可启用 - 🔒 数据不出本机:图片只发给你自己的模型,不经过任何云端 - ⚙️ 留空即关闭:接口地址留空 = 不启用识图,零副作用 - 🎛 图形化配置:设置界面里直接填,不用碰配置文件 🚀 快速开始 dsh plugin --profile web add "github:TIPSONG/dsh-vision-api-localorweb#main" 本插件声明了 dsh.bundle.patch,dsh plugin add 会自动挂进 profile 层栈,无需手写 insert 行。装完重启 web 生效。 重启后打开 设置 → 可接入识图模型 API: | 字段 | 填什么 | 示例 | | 接口地址 | OpenAI 兼容 base URL | http://localhost:1234/v1 | | 模型名 | 本地加载的模型 ID | gemma-4-e4b | | API Key | 本地服务留空即可 | (空) | 点保存,然后对助手说「看看这张图」——助手会调用 local_vision 把图片交给你本地的模型。 👁 怎么看图:两种方式 方式一:直接告诉助手图片路径(推荐,任何对话模型都可用) 把图片放在本地磁盘上,然后在对话里给出图片路径,例如: 看看这张图:C:\Users\me\Desktop\photo.png,描述一下内容 助手会调用 local_vision 工具读取该路径的图片、交给本地识图模型,并把文字描述带回来。这条路不依赖对话模型是否支持图片输入——哪怕对话模型是纯文本模型(如 deepseek-v4),识图也完全正常。 ⚠️ 为什么拖拽发图不一定可行:DSH 会在消息提交时检查当前对话模型是否声明支持图片输入。如果对话模型不支持图片(如 deepseek-v4),拖拽/粘贴发图会被拒绝(提示「当前模型不支持图片」),且这个检查发生在插件无法拦截的位置。详见 issue #1。因此当对话模型不支持图片时,请用路径识图。 方式二:拖拽/粘贴发图(要求对话模型本身支持图片) 如果你的对话模型支持图片输入(例如把对话模型切换为本地多模态模型),直接拖图进对话框即可,图片会原样交给对话模型。此时本插件的转译钩子会自动跳过,不做干预。 🧭 工作原理 📦 能力面 | Tools | 说明 | | local_vision | 读取本地图片 → 交给 OpenAI 兼容识图接口 → 返回文字描述;接口留空时返回「未配置」提示 | | UI | 说明 | | 设置 → 可接入识图模型 API | 三个输入框(接口地址 / 模型名 / API Key),留空接口地址即禁用识图 | 🔧 配置字段 | 字段 | 说明 | | baseUrl | OpenAI 兼容接口的 base URL(http://host:port/v1)。留空 = 禁用识图 | | model | 模型 ID(LM Studio 里加载的名字,如 gemma-4-e4b) | | apiKey | 可选鉴权头;留空则不发送 | 📄 安装说明 git 源(推荐,一行): dsh plugin --profile web add "github:TIPSONG/dsh-vision-api-localorweb#main" 本地目录: git clone https://github.com/TIPSONG/dsh-vision-api-localorweb.git cd dsh-vision-api-localorweb npm install npm run build # 产出 lib/index.js + lib/client.js dsh plugin --profile web add . 本插件声明 dsh.bundle.patch(组合层)+ dsh.client(platform: web)+ exports["./client"](浏览器设置页),main 提供 Node 工具半。安装后重启 web 生效。 🛠 开发 npm install npm run build # 重新构建 lib/ | 文件 | 说明 | | src/index.ts | Node 半:settings namespace + local_vision 工具 | | src/client.ts | 浏览器半:设置页 | | scripts/build.mjs | esbuild 构建脚本(ESM host + __ModuleLoader__ client bundle) | 🔌 支持的模型 任何 OpenAI 兼容 /v1/chat/completions 接口且支持图片输入的多模态模型: - LM Studio(Gemma、Qwen-VL、LLaVA 等) - Ollama(http://localhost:11434/v1) - vLLM / llama.cpp server 📄 License MIT
预览分享卡片长什么样 ↓
分享 · DeepSeek Harness Hub
TIPSONG/dsh-vision-api-localorweb
接入本地多模态模型,让助手读取图片内容
相关插件 · 视觉能力
智能体工作台Devin-AXIS/iPolloWork
企业级、本地优先的智能体工作台,面向个人和智能体团队——一个工作区,容纳多个智能体引擎;一套统一体系,管理插件和技能;支…
★ 7,364已汉化DSH
72
开源设计工作台nexu-io/open-design
OpenDesign:首个协作式 AI 设计智能体工作区
★ 105,709已汉化DSH
71.8
GPT 图像提示词库freestylefly/awesome-gpt-image-2
Prompt as Code | GPT Image 2 / 2.5 提示词与案例库,530+ 个案例、20+…
★ 34,534已汉化DSH
71.5
多智能体编码工作区spacering-net/codeg
多智能体协作的 AI 编程工作区:汇总 Claude Code、Codex、OpenCode、Pi、Grok Build 等来源的会话。支持桌面应用、自托管服务器或 Docker。
★ 4,319已汉化DSH
71.5
AI 用量桌面小部件Javis603/token-monitor
EN | 简 | 繁 | KO | JA | PT
★ 3,533已汉化DSH
71.1
架构图生成器tt-a1i/archify
把你想理解、规划或分享的事,变成可以互动的可视化作品。
★ 93,105已汉化DSH
71.1
这是你的仓库?认领条目