🎁 福利专区全网大模型免费应用 + 新用户福利 + 注册活动入口,低成本玩转 AI

音视频理解 xhznAI/media-sense

DeepSeek Harness
xhznAI2 天前有提交已提供中文文档扫描:含敏感能力

让助手听懂录音看懂视频并给出文字结论

30.6/100
综合分
1
GitHub 星标
—
npm 周下载
—/5
用户评分

数据截至 2026/11/2 · 周下载取自 npm 全网(含 CI / 镜像),非本站安装数;综合分由星标、活跃度与兼容性检查合成。

安装命令 · 需先装 dsh CLI 引擎
dsh plugin --profile web add xhznAI/media-sense
该包不可直接 npm 安装,改从 GitHub 源安装(明细见下方安装检查)

状态速览

判定依据:实装验证 · 静态安装检查 · 自动扫描 · 仓库维护状态
信任档位:仅索引
是什么
dsh 原生插件 · tool
装得上吗
本站尚未做安装检查
安全吗
本站尚未对该插件做风险分级
暂未覆盖,不等同于无风险
还在维护吗
活跃:最近一次提交在 2 天前
档位由哪些信号合成

本站实装验证(真实安装 L4 覆盖全站;L5 为运行时冒烟或实机截图,覆盖范围小于 L4) · 验证所用 dsh 版本 · 静态安装检查 · 风险分级 · 仓库维护状态。 下方各区块是它的证据明细。

验证判据与等级说明 →
社区实装还没有人打卡 · 装过的第一个就是你
安全扫描自动 · 静态分析源码
v2.7.0
🔵 扫描:含敏感能力尚无人工评估
展开查看扫描说明与证据 ↓

静态扫描发现插件具备触达本地系统的能力:执行外部命令、读写/删除本地文件、读取剪贴板或密钥类环境变量(至少其一)。这是能力清单,不是危险判定——具体能力项与证据见下方,安装前请自行判断是否需要。

读写/删除本地文件发起外部网络请求
查看扫描证据(共 20 处,展示前 18 条)
  • 发起网络请求
    lib/index.js:5151
    const response = await fetch(url, {
  • 读取本地文件
    lib/index.js:5567
    if ((await stat(path)).size !== asset.outputBytes) return false;
  • 读取本地文件
    lib/index.js:5569
    for await (const chunk of createReadStream(path)) hash.update(chunk);
  • 写入本地文件
    lib/index.js:5607
    } }), createWriteStream(target, {
  • 删除本地文件
    lib/index.js:5615
    await rm(target, { force: true });
  • 读取本地文件
    lib/index.js:5630
    await access(file, constants.X_OK);
  • 读取本地文件
    lib/index.js:5654
    for (const entry of await readdir(packages, { withFileTypes: true }).catch(() => [])) {
  • 读取本地文件
    lib/index.js:5658
    for (const child of await readdir(root, { withFileTypes: true }).catch(() => [])) if (child.isDirectory()) directories.push(paths.join(root, child.nam
  • 读取本地文件
    lib/index.js:5707
    const resolved = await realpath(candidate).catch(() => void 0);
  • 写入本地文件
    lib/index.js:5799
    await mkdir(this.directory, { recursive: true });
  • 写入本地文件
    lib/index.js:5811
    await chmod(file, 493);
  • 写入本地文件
    lib/index.js:5824
    if (!await fileMatches(target, asset)) await rename(path.join(stage, this.filename(asset.tool)), target);
  • 删除本地文件
    lib/index.js:5834
    await rm(stage, {
  • 写入本地文件
    lib/index.js:5972
    await mkdir(dirname(path), {
  • 写入本地文件
    lib/index.js:5978
    await writeFile(temporary, JSON.stringify(next) + "\n", {
  • 删除本地文件
    lib/index.js:5987
    await unlink(temporary);
  • 发起网络请求
    lib/client.js:8626
    const response = await fetch("/media-sense/ffmpeg", {
  • 发起网络请求
    lib/client.js:8972
    const response = await fetch("/media-sense/settings", {
扫描于 2026/11/2(1 天前) · 范围 入口闭包 + 发布文件清单 · 来源 GitHub 仓库

静态扫描只反映源码中出现的调用,不构成安全背书;人工评估与自动扫描相互独立、互不覆盖。

依赖的 DSH / Cordis 模块
@deepseek-ai/cordis@deepseek-ai/schemastery@deepseek-ai/dsh-fs@deepseek-ai/dsh-working-directory@deepseek-ai/dsh-tools@deepseek-ai/dsh-settings@deepseek-ai/dsh-host-webserver@deepseek-ai/dsh-client-locale@deepseek-ai/dsh-client-ui-renderer@deepseek-ai/dsh-client-ui-settings@deepseek-ai/dsh-client-ui-slots@deepseek-ai/dsh-client-ui-primitives
给这个插件打分还没有人投票↓
用户评分
还没有人投票,来当第一个

为 DeepSeek Harness 提供音视频理解能力,模型可配置,FFmpeg 可设置。

README

由 DeepSeek 最新模型翻译生成
Media Sense — 给 DSH 装上耳朵和眼睛 录音太长?视频懒得拖?交给 DSH 听一听、看一看。 DeepSeek Harness 的音视频理解插件 · Web / Desktop 安装 ·开始使用 ·模型推荐 ·配置手册 ·开发文档 安装 支持 DeepSeek Harness >=0.2.1-rc.3 <0.2.2-0 的 Web 和 Desktop。使用终端操作时,需在 PATH 中准备好 dsh 和 pnpm,并使用 Node.js 24 或更高版本。 桌面版或 Web 界面打开侧栏 插件 → 添加插件,填入以下来源,安装后启用 Media Sense: github:xhznAI/media-sense#v0.1.2 在插件管理界面更新时,先卸载旧版,再使用上述来源安装新版。 也可以在终端操作 Web 配置档: 安装或更新到 v0.1.2 dsh plugin --profile web add github:xhznAI/media-sense#v0.1.2 卸载 dsh plugin --profile web remove @nex-assistant/media-sense 更新到其他版本时,将命令中的标签替换为目标版本,再运行安装命令;固定标签不会通过 update 自动切换。终端操作后重启对应的 Web 配置档。
展开完整文档(README 剩余 1 节)
Media Sense — 给 DSH 装上耳朵和眼睛

录音太长?视频懒得拖?交给 DSH 听一听、看一看。
DeepSeek Harness 的音视频理解插件 · Web / Desktop

安装 ·开始使用 ·模型推荐 ·配置手册 ·开发文档

安装

支持 DeepSeek Harness >=0.2.1-rc.3 <0.2.2-0 的 Web 和 Desktop。使用终端操作时,需在 PATH 中准备好 dsh 和 pnpm,并使用 Node.js 24 或更高版本。

桌面版或 Web 界面打开侧栏 插件 → 添加插件,填入以下来源,安装后启用 Media Sense:

github:xhznAI/media-sense#v0.1.2

在插件管理界面更新时,先卸载旧版,再使用上述来源安装新版。

也可以在终端操作 Web 配置档:

安装或更新到 v0.1.2
dsh plugin --profile web add github:xhznAI/media-sense#v0.1.2

卸载
dsh plugin --profile web remove @nex-assistant/media-sense

更新到其他版本时,将命令中的标签替换为目标版本,再运行安装命令;固定标签不会通过 update 自动切换。终端操作后重启对应的 Web 配置档。其他安装方式见安装指南。

开始使用

打开 设置 → Media Sense → 添加模型,填写模型 ID、接口地址和 API Key,选择接口格式与输入能力。然后分别选中音频模型、视频模型,保存。

把素材放进 DSH 工作区,告诉它文件在哪里、你想知道什么。例如:

用 Media Sense 分析 demo.mp4,按时间线列出主要画面,并标出值得回看的片段。

添加模型时要填什么

真实模型配置界面:模型 ID、接口格式、地址、Key 与输入能力

显示名称可以随意取;模型 ID 要使用服务商提供的准确名称。接口格式要与服务商实际实现相符,「兼容 OpenAI」不代表所有音视频扩展都通用。

把素材丢给它,剩下的用一句话说

| 你手里的东西 | 可以这样问 DSH |
| 🎙️ 一段会议录音 | 「整理决定了什么、谁来做,听不清的地方标出来。」 |
| 🎬 一段产品演示 | 「按时间线讲讲操作步骤,找出最适合做封面的画面。」 |
| 🎧 一段采访 | 「转成文字,区分说话人,再给我一版精简摘要。」 |
| 🧰 待处理的素材 | 「先检查 FFmpeg 和 FFprobe,缺了就帮我装好。」 |

Media Sense 把本地音视频交给你选择的模型,返回文字结果。音频和视频可以各选一个模型,FFmpeg 也有独立的检测、安装入口。

实机理解效果

听音频:带时间戳的转写和摘要

上传一段测试配音,问「这段音频说了啥」,得到逐句转写和内容总结。

DSH 实机音频理解:测试配音的时间戳转写与内容总结

看视频:对白翻译、画面顺序和总结

上传一段 30 秒的东京夜景视频,问「这段视频讲的啥」,得到日语对白的中文解释和按时间排列的画面说明。

DSH 实机视频理解:东京夜景视频的日语对白、画面顺序与总结

音视频由 Media Sense 中配置的模型分析,再由 DSH 整理回答;输入框显示的是主对话模型。

它在 DSH 里长这样

DSH 中的 Media Sense 设置页:FFmpeg、音频模型与视频模型

模型怎么选

下表按插件中的 接口格式名称 对应。模型 ID 可以复制;链接指向厂商文档。

| 接口格式 | 推荐从这些模型开始 | 本插件可发送的素材 |
| Google Gemini | gemini-3.8-flash | 🎧 音频 · 🎬 视频 |
| OpenAI Chat Completions | gpt-audio-1.5 | 🎧 WAV / MP3 音频 |
| Qwen Omni | qwen3.8-omni-flash | 🎧 音频 · 🎬 视频 |
| MiMo Omni | mimo-v2.6-flash、mimo-v2.6-pro | 🎧 音频 · 🎬 视频 |
| Kimi Video | kimi-k3.1-pro、kimi-k2.6 | 🎬 视频画面 |
| GLM Video | glm-4.6v(兼容性待验证) | 🎬 视频画面,见下方说明 |

想先接一个同时处理音频和视频的模型,可以从 Gemini、Qwen Omni 或 MiMo 中选你已有账号的一家。只接 OpenAI 音频时,请选支持音频输入的型号,普通聊天模型不能替代。

gpt-audio-1.5 可用于音频理解和语音交互;本插件发送音频并请求文字回答,不生成语音,也不能向它发送视频。

GLM 的例外: 当前插件直接发送本地视频的 Base64;智谱的官方资料对视频 Base64 支持存在差异,部分只列 URL。glm-4.6v 暂列候选,接入前需验证所用服务端。详情与依据

以上型号参考厂商文档,尚未逐一实测。可用型号、格式和额度以你的服务商账号为准;接口地址见配置手册。

几个容易踩的小坑

视频模型能听见视频里的声音吗?

要看具体模型。Kimi Video、GLM Video 在本插件中用于画面理解,不能据此假定支持声音理解。需要分析对白或环境音时,选支持对应输入的模型;必要时先用 FFmpeg 提取音频。

大文件能直接扔进去吗?

默认每次合计 25 MB,可以在模型卡片中分别调整音频和视频的上限。服务商的请求体、时长和上下文限制仍然有效;长素材建议先裁剪。插件不会自动压缩或切片。额度说明

写着 Web,桌面版能用吗?

能。Media Sense 可以在 DSH 桌面版和浏览器版中使用。

致谢

感谢以下项目的维护者与贡献者:

- DeepSeek Harness:Media Sense 的宿主,提供插件系统、工具接口和 Web / Desktop 界面。
- FFmpeg 与 ffmpeg-static:提供音视频处理工具与跨平台二进制分发。

也推荐关注 DSH 社区的语音项目:

- WizisCool/dsh-ears:语音输入与文字润色,支持本地 Whisper 和语音识别 API。
- haoku123/dsh-voice:全双工语音交互,结合 SenseVoice 识别与 TTS 朗读,支持语音打断。

🛠️ 独立开发与宿主接入 · 🔐 文件与 Key 如何处理 · 🎨 图片来源

Made by zhoufeiyu · xhznAI · MIT License
预览分享卡片长什么样 ↓xhznAI/media-sense
分享 · DeepSeek Harness Hub
xhznAI/media-sense

让助手听懂录音看懂视频并给出文字结论

这是你的仓库?认领条目

回到顶部