让助手听懂录音看懂视频并给出文字结论
30.6/100
综合分
1
GitHub 星标
—
npm 周下载
—/5
用户评分
数据截至 2026/11/2 · 周下载取自 npm 全网(含 CI / 镜像),非本站安装数;综合分由星标、活跃度与兼容性检查合成。
安装命令 · 需先装 dsh CLI 引擎
dsh plugin --profile web add xhznAI/media-sense该包不可直接 npm 安装,改从 GitHub 源安装(明细见下方安装检查)
状态速览
判定依据:实装验证 · 静态安装检查 · 自动扫描 · 仓库维护状态信任档位:仅索引
是什么
dsh 原生插件 · tool
装得上吗
本站尚未做安装检查
安全吗
本站尚未对该插件做风险分级
暂未覆盖,不等同于无风险
还在维护吗
活跃:最近一次提交在 2 天前
档位由哪些信号合成
本站实装验证(真实安装 L4 覆盖全站;L5 为运行时冒烟或实机截图,覆盖范围小于 L4) · 验证所用 dsh 版本 · 静态安装检查 · 风险分级 · 仓库维护状态。 下方各区块是它的证据明细。
社区实装还没有人打卡 · 装过的第一个就是你
安全扫描自动 · 静态分析源码v2.7.0🔵 扫描:含敏感能力尚无人工评估展开查看扫描说明与证据 ↓
安全扫描自动 · 静态分析源码
v2.7.0静态扫描发现插件具备触达本地系统的能力:执行外部命令、读写/删除本地文件、读取剪贴板或密钥类环境变量(至少其一)。这是能力清单,不是危险判定——具体能力项与证据见下方,安装前请自行判断是否需要。
读写/删除本地文件发起外部网络请求
查看扫描证据(共 20 处,展示前 18 条)
- 发起网络请求lib/index.js:5151
const response = await fetch(url, { - 读取本地文件lib/index.js:5567
if ((await stat(path)).size !== asset.outputBytes) return false; - 读取本地文件lib/index.js:5569
for await (const chunk of createReadStream(path)) hash.update(chunk); - 写入本地文件lib/index.js:5607
} }), createWriteStream(target, { - 删除本地文件lib/index.js:5615
await rm(target, { force: true }); - 读取本地文件lib/index.js:5630
await access(file, constants.X_OK); - 读取本地文件lib/index.js:5654
for (const entry of await readdir(packages, { withFileTypes: true }).catch(() => [])) { - 读取本地文件lib/index.js:5658
for (const child of await readdir(root, { withFileTypes: true }).catch(() => [])) if (child.isDirectory()) directories.push(paths.join(root, child.nam - 读取本地文件lib/index.js:5707
const resolved = await realpath(candidate).catch(() => void 0); - 写入本地文件lib/index.js:5799
await mkdir(this.directory, { recursive: true }); - 写入本地文件lib/index.js:5811
await chmod(file, 493); - 写入本地文件lib/index.js:5824
if (!await fileMatches(target, asset)) await rename(path.join(stage, this.filename(asset.tool)), target); - 删除本地文件lib/index.js:5834
await rm(stage, { - 写入本地文件lib/index.js:5972
await mkdir(dirname(path), { - 写入本地文件lib/index.js:5978
await writeFile(temporary, JSON.stringify(next) + "\n", { - 删除本地文件lib/index.js:5987
await unlink(temporary); - 发起网络请求lib/client.js:8626
const response = await fetch("/media-sense/ffmpeg", { - 发起网络请求lib/client.js:8972
const response = await fetch("/media-sense/settings", {
扫描于 2026/11/2(1 天前) · 范围 入口闭包 + 发布文件清单 · 来源 GitHub 仓库
静态扫描只反映源码中出现的调用,不构成安全背书;人工评估与自动扫描相互独立、互不覆盖。
依赖的 DSH / Cordis 模块
@deepseek-ai/cordis@deepseek-ai/schemastery@deepseek-ai/dsh-fs@deepseek-ai/dsh-working-directory@deepseek-ai/dsh-tools@deepseek-ai/dsh-settings@deepseek-ai/dsh-host-webserver@deepseek-ai/dsh-client-locale@deepseek-ai/dsh-client-ui-renderer@deepseek-ai/dsh-client-ui-settings@deepseek-ai/dsh-client-ui-slots@deepseek-ai/dsh-client-ui-primitives给这个插件打分还没有人投票↓
用户评分
还没有人投票,来当第一个
为 DeepSeek Harness 提供音视频理解能力,模型可配置,FFmpeg 可设置。
README
由 DeepSeek 最新模型翻译生成Media Sense — 给 DSH 装上耳朵和眼睛
录音太长?视频懒得拖?交给 DSH 听一听、看一看。
DeepSeek Harness 的音视频理解插件 · Web / Desktop
安装 ·开始使用 ·模型推荐 ·配置手册 ·开发文档
安装
支持 DeepSeek Harness >=0.2.1-rc.3 <0.2.2-0 的 Web 和 Desktop。使用终端操作时,需在 PATH 中准备好 dsh 和 pnpm,并使用 Node.js 24 或更高版本。
桌面版或 Web 界面打开侧栏 插件 → 添加插件,填入以下来源,安装后启用 Media Sense:
github:xhznAI/media-sense#v0.1.2
在插件管理界面更新时,先卸载旧版,再使用上述来源安装新版。
也可以在终端操作 Web 配置档:
安装或更新到 v0.1.2
dsh plugin --profile web add github:xhznAI/media-sense#v0.1.2
卸载
dsh plugin --profile web remove @nex-assistant/media-sense
更新到其他版本时,将命令中的标签替换为目标版本,再运行安装命令;固定标签不会通过 update 自动切换。终端操作后重启对应的 Web 配置档。
展开完整文档(README 剩余 1 节)
Media Sense — 给 DSH 装上耳朵和眼睛 录音太长?视频懒得拖?交给 DSH 听一听、看一看。 DeepSeek Harness 的音视频理解插件 · Web / Desktop 安装 ·开始使用 ·模型推荐 ·配置手册 ·开发文档 安装 支持 DeepSeek Harness >=0.2.1-rc.3 <0.2.2-0 的 Web 和 Desktop。使用终端操作时,需在 PATH 中准备好 dsh 和 pnpm,并使用 Node.js 24 或更高版本。 桌面版或 Web 界面打开侧栏 插件 → 添加插件,填入以下来源,安装后启用 Media Sense: github:xhznAI/media-sense#v0.1.2 在插件管理界面更新时,先卸载旧版,再使用上述来源安装新版。 也可以在终端操作 Web 配置档: 安装或更新到 v0.1.2 dsh plugin --profile web add github:xhznAI/media-sense#v0.1.2 卸载 dsh plugin --profile web remove @nex-assistant/media-sense 更新到其他版本时,将命令中的标签替换为目标版本,再运行安装命令;固定标签不会通过 update 自动切换。终端操作后重启对应的 Web 配置档。其他安装方式见安装指南。 开始使用 打开 设置 → Media Sense → 添加模型,填写模型 ID、接口地址和 API Key,选择接口格式与输入能力。然后分别选中音频模型、视频模型,保存。 把素材放进 DSH 工作区,告诉它文件在哪里、你想知道什么。例如: 用 Media Sense 分析 demo.mp4,按时间线列出主要画面,并标出值得回看的片段。 添加模型时要填什么 真实模型配置界面:模型 ID、接口格式、地址、Key 与输入能力 显示名称可以随意取;模型 ID 要使用服务商提供的准确名称。接口格式要与服务商实际实现相符,「兼容 OpenAI」不代表所有音视频扩展都通用。 把素材丢给它,剩下的用一句话说 | 你手里的东西 | 可以这样问 DSH | | 🎙️ 一段会议录音 | 「整理决定了什么、谁来做,听不清的地方标出来。」 | | 🎬 一段产品演示 | 「按时间线讲讲操作步骤,找出最适合做封面的画面。」 | | 🎧 一段采访 | 「转成文字,区分说话人,再给我一版精简摘要。」 | | 🧰 待处理的素材 | 「先检查 FFmpeg 和 FFprobe,缺了就帮我装好。」 | Media Sense 把本地音视频交给你选择的模型,返回文字结果。音频和视频可以各选一个模型,FFmpeg 也有独立的检测、安装入口。 实机理解效果 听音频:带时间戳的转写和摘要 上传一段测试配音,问「这段音频说了啥」,得到逐句转写和内容总结。 DSH 实机音频理解:测试配音的时间戳转写与内容总结 看视频:对白翻译、画面顺序和总结 上传一段 30 秒的东京夜景视频,问「这段视频讲的啥」,得到日语对白的中文解释和按时间排列的画面说明。 DSH 实机视频理解:东京夜景视频的日语对白、画面顺序与总结 音视频由 Media Sense 中配置的模型分析,再由 DSH 整理回答;输入框显示的是主对话模型。 它在 DSH 里长这样 DSH 中的 Media Sense 设置页:FFmpeg、音频模型与视频模型 模型怎么选 下表按插件中的 接口格式名称 对应。模型 ID 可以复制;链接指向厂商文档。 | 接口格式 | 推荐从这些模型开始 | 本插件可发送的素材 | | Google Gemini | gemini-3.8-flash | 🎧 音频 · 🎬 视频 | | OpenAI Chat Completions | gpt-audio-1.5 | 🎧 WAV / MP3 音频 | | Qwen Omni | qwen3.8-omni-flash | 🎧 音频 · 🎬 视频 | | MiMo Omni | mimo-v2.6-flash、mimo-v2.6-pro | 🎧 音频 · 🎬 视频 | | Kimi Video | kimi-k3.1-pro、kimi-k2.6 | 🎬 视频画面 | | GLM Video | glm-4.6v(兼容性待验证) | 🎬 视频画面,见下方说明 | 想先接一个同时处理音频和视频的模型,可以从 Gemini、Qwen Omni 或 MiMo 中选你已有账号的一家。只接 OpenAI 音频时,请选支持音频输入的型号,普通聊天模型不能替代。 gpt-audio-1.5 可用于音频理解和语音交互;本插件发送音频并请求文字回答,不生成语音,也不能向它发送视频。 GLM 的例外: 当前插件直接发送本地视频的 Base64;智谱的官方资料对视频 Base64 支持存在差异,部分只列 URL。glm-4.6v 暂列候选,接入前需验证所用服务端。详情与依据 以上型号参考厂商文档,尚未逐一实测。可用型号、格式和额度以你的服务商账号为准;接口地址见配置手册。 几个容易踩的小坑 视频模型能听见视频里的声音吗? 要看具体模型。Kimi Video、GLM Video 在本插件中用于画面理解,不能据此假定支持声音理解。需要分析对白或环境音时,选支持对应输入的模型;必要时先用 FFmpeg 提取音频。 大文件能直接扔进去吗? 默认每次合计 25 MB,可以在模型卡片中分别调整音频和视频的上限。服务商的请求体、时长和上下文限制仍然有效;长素材建议先裁剪。插件不会自动压缩或切片。额度说明 写着 Web,桌面版能用吗? 能。Media Sense 可以在 DSH 桌面版和浏览器版中使用。 致谢 感谢以下项目的维护者与贡献者: - DeepSeek Harness:Media Sense 的宿主,提供插件系统、工具接口和 Web / Desktop 界面。 - FFmpeg 与 ffmpeg-static:提供音视频处理工具与跨平台二进制分发。 也推荐关注 DSH 社区的语音项目: - WizisCool/dsh-ears:语音输入与文字润色,支持本地 Whisper 和语音识别 API。 - haoku123/dsh-voice:全双工语音交互,结合 SenseVoice 识别与 TTS 朗读,支持语音打断。 🛠️ 独立开发与宿主接入 · 🔐 文件与 Key 如何处理 · 🎨 图片来源 Made by zhoufeiyu · xhznAI · MIT License
预览分享卡片长什么样 ↓
分享 · DeepSeek Harness Hub
xhznAI/media-sense
让助手听懂录音看懂视频并给出文字结论
相关插件 · 工具 / 效率
破甲管控台kingcharleslzy-ai/dsh-purge
dsh-purge Community · DeepSeek Harness 社区维护版:宿主兼容、状态诊断、提示词管理、更新与本机备份回滚。基于小杨 / YuJunZhiXue 的 dsh-purge。
★ 4,330已汉化DeepSeek 客户端
74.5
网文长卷lingfengQAQ/webnovel-writer
基于 Claude Code 的长篇网文辅助创作系统,解决 AI 写作中的「遗忘」和「幻觉」问题,支持 200…
★ 7,636已汉化DSH
72.2
多智能体协作HKUDS/AutoSwarm
AutoSwarm: Unify Your Agents. Unify Your Context (Codex · Claude Code · DeepSeek Harness · Muse · Grok · WorkBuddy· nanobot · and more)
★ 2,349已汉化DSH
71.6
Vox 拼贴视频生成Alisa0808/vox-director
🎬 Vox Director拼贴动效导演
★ 2,129已汉化DSH
71.4
Agent 演化引擎Q00/ouroboros
智能体 OS:智能体自己变聪明,我们只守住底线:面试准入、分阶段评估、带预算的进化循环。MCP 服务器,14 种运行时:Claude Code、Codex CLI、Gemini CLI、OpenCode、Copilot、Kiro 等。
★ 6,311已汉化DSH
71.4
智能体运行框架路由HarnessRouter/harnessrouter
智能体 harness 的统一接口。
★ 3,984已汉化DSH
71.3
这是你的仓库?认领条目