把视频切成带时间戳的网格图，让 AI 省 token 看懂画面
30.7/100
综合分
1
GitHub 星标
—
npm 周下载
—/5
用户评分
数据截至 2026/10/30 · 周下载取自 npm 全网（含 CI / 镜像），非本站安装数；综合分由星标、活跃度与兼容性检查合成。
安装命令 · 需先装 dsh CLI 引擎
dsh plugin --profile web add yangjili6/video-understanding-kit该包不可直接 npm 安装，改从 GitHub 源安装（明细见下方安装检查）
状态速览
判定依据：实装验证 · 静态安装检查 · 自动扫描 · 仓库维护状态信任档位：仅索引
图例：✓ 通过! 需注意— 未判定 / 无数据· 「未判定」= 本站尚无数据，不代表插件有问题
档位由哪些信号合成
本站实装验证（真实安装 L4 覆盖全站；L5 为运行时冒烟或实机截图，覆盖范围小于 L4） · 验证所用 dsh 版本 · 静态安装检查 · 风险分级 · 仓库维护状态。 下方各区块是它的证据明细。
给这个插件打分还没有人投票↓
用户评分
还没有人投票，来当第一个
展开完整介绍（270 字）↓
目前是手机DSH专用，如果效果好的话未来会考虑多端；这个工具不同于传统的AI理解视频流程（定时切帧-切出的帧猜测上下文），而是以5FPS一帧来尽可能获取视频的完全内容，再以网格的形式存入每一帧；网格使用预训练模型进行分组（相同的场景/内容会尽可能在一个网格大组中），这样你的AI在使用了这个插件/工具后能够更好的形容看到的视频，并且不会花什么token；不过由于技术原因，我目前还无法优化完成这个流程所需要的时长（中端手机在OCR与ASR全开启的情况下让AI完成一个这样的工作流时长需要原视频的1.5倍～3倍左右），这是这个工具最大的痛点。
README
由 DeepSeek 最新模型翻译生成Video Understanding Kit
面向 DSH 手机版的网格法视频理解工具包。 它把视频整理成带时间戳的采样帧、镜头分组、网格图，以及可选的字幕和语音转写，方便 AI 先快速浏览，再按时间回查证据。
本项目依赖 DSH 手机版的工具链与目录约定。桌面、服务器和其他 Android 环境尚未验证。使用它的 AI 助手需要支持图像输入。
设计与实验记录（ADR、对照实验数据、复现命令）在 docx/。
工作流程
Video Understanding Kit 工作流程
网格适合快速浏览和定位；需要确认小字、细节动作或不确定内容时，再打开对应页面或原始帧。镜头边界与画面变化用于时间导航，不代表语义场景或完整事件划分。
能力一览
- 镜头分组与网格：抽取带时间戳的基础帧，检测镜头边界，生成网格页和组级导航图。
- 字幕识别（可选）：PP-OCRv4 提取画面文字，输出带时间的候选文本和疑点标记。
- 语音识别（可选）：使用 sherpa-onnx 本地识别语音，生成带时间戳的转写候选。
- 证据回查：通过 index.json 中的时间戳、帧 ID 和页面关联，定位网格页或原始帧。
- DSH 插件（可选）：dsh-plugin/ 提供 video_analyze 和 video_frame 两个工具，详见 插件说明。
展开完整文档（README 剩余 1 节）
Video Understanding Kit 面向 DSH 手机版的网格法视频理解工具包。 它把视频整理成带时间戳的采样帧、镜头分组、网格图，以及可选的字幕和语音转写，方便 AI 先快速浏览，再按时间回查证据。 本项目依赖 DSH 手机版的工具链与目录约定。桌面、服务器和其他 Android 环境尚未验证。使用它的 AI 助手需要支持图像输入。 设计与实验记录（ADR、对照实验数据、复现命令）在 docx/。 工作流程 Video Understanding Kit 工作流程 网格适合快速浏览和定位；需要确认小字、细节动作或不确定内容时，再打开对应页面或原始帧。镜头边界与画面变化用于时间导航，不代表语义场景或完整事件划分。 能力一览 - 镜头分组与网格：抽取带时间戳的基础帧，检测镜头边界，生成网格页和组级导航图。 - 字幕识别（可选）：PP-OCRv4 提取画面文字，输出带时间的候选文本和疑点标记。 - 语音识别（可选）：使用 sherpa-onnx 本地识别语音，生成带时间戳的转写候选。 - 证据回查：通过 index.json 中的时间戳、帧 ID 和页面关联，定位网格页或原始帧。 - DSH 插件（可选）：dsh-plugin/ 提供 video_analyze 和 video_frame 两个工具，详见 插件说明。 安装 运行环境：DSH 手机版、Node.js 20 或更新版本、ffmpeg、ImageMagick。 在项目目录安装依赖并下载模型： pnpm install node download-models.mjs 模型下载脚本获取 TransNetV2 与 PP-OCRv4 模型，约 47 MB。OCR 和镜头检测通过 onnxruntime-web 运行。 可选：语音识别 --asr 需要 sherpa-onnx 运行时和中文 Paraformer 模型，模型约 217 MB，不包含在上述 47 MB 中。安装方法见 sherpa-onnx 和 asr.mjs 顶部说明。未安装时请不要传入 --asr；基础分组、网格和字幕功能不受影响。 使用 镜头分组与网格 node pipeline.mjs --video video.mp4 --out out 同时提取画面字幕 node pipeline.mjs --video video.mp4 --out out --subs 同时进行语音识别（需安装 sherpa-onnx 和模型） node pipeline.mjs --video video.mp4 --out out --asr 按需同时启用字幕提取和语音识别 node pipeline.mjs --video video.mp4 --out out --subs --asr 启动本地预览服务 node serve-preview.mjs out # 默认读取 ./out；也可传入其他输出目录 浏览器打开 http://127.0.0.1:3329 输出文件 out/ ├── index.json # 分组、网格页、OCR/ASR 候选与镜头边界索引 ├── base/ # 基础采样帧 ├── extra/ # 候选窗口的补充回看帧 ├── grids/ # 网格页与组级导航图 ├── subs/ # OCR 中间帧（启用 --subs 时） └── audio/ # ASR 音频（启用 --asr 时） index.json 常用字段： | 字段 | 内容 | | groups[] | 内容组的起止时间、网格页和导航图 | | groups[].pages[].frames[] | 每个网格格子的时间戳、源帧 ID 与提取 ID | | subs[] | OCR 字幕候选；review 用于标记建议核验的条目 | | candidates[] | cues/ASR 候选及回看状态 | | boundaries[] | 分组边界类型及左右组、边界帧关系 | OCR 与 ASR 的结果都是识别候选，不应直接视为准确字幕或完整语音记录。关键文字、数字和台词请结合原帧或音频核验。 参数 | 参数 | 默认值 | 说明 | | --video | — | 输入视频路径 | | --out | — | 输出目录 | | --subs | 关闭 | 提取画面字幕（PP-OCRv4） | | --asr | 关闭 | 识别语音（sherpa-onnx） | | --base-fps | 5 | 基础采样帧率 | | --diff-threshold | 8 | 补帧用的帧差阈值 | | --page-scale | 1.8 | 网格页面缩放比例 | | --force | 关闭 | 允许清空并覆盖已有输出目录 | 环境变量：SUBS_SKIP_TH 控制字幕跳帧阈值（默认 3.0）；DET_MAX_SIDE 控制 OCR 检测图像长边上限（默认 720）。 模型与许可 | 模型 | 来源 | 许可 | | TransNetV2 | soCzech/TransNetV2，ONNX 转换版来自 elya5/transnetv2 | MIT | | PP-OCRv4 检测与识别模型 | PaddleOCR，ONNX 模型由 RapidOCR 提供 | Apache-2.0 | | PP-OCR 字典 | PaddleOCR | Apache-2.0 | | sherpa-onnx（可选 ASR） | k2-fsa/sherpa-onnx | Apache-2.0 | 使用前请核对各模型及其权重在目标场景下的许可条款。 已知限制 - 采样可能漏掉极短的动作、镜头或字幕。 - OCR 可能误识艺术字、生僻字或低清文字；高置信度结果也需要核验。 - ASR 可能误识同音词和专名，也不能可靠判断说话人归属。 - 处理耗时会随设备性能、视频分辨率和启用的 OCR/ASR 选项明显变化；单次测试数据见 插件实测记录，不应视为普遍性能保证。 给 AI 助手的使用提示 请参阅 PROMPT.md。核心原则是：先读索引、按网格浏览；遇到不确定内容时回查对应帧或音频，并区分观察结果与推测。
预览分享卡片长什么样 ↓
分享 · DeepSeek Harness Hub
yangjili6/video-understanding-kit
把视频切成带时间戳的网格图，让 AI 省 token 看懂画面
相关插件 · 市场 / 管理
插件精选列表awesome-dsh-plugin/awesome-dsh-plugin
DeepSeek Harness（dsh）插件精选列表
★ 22,225未汉化DSH
73.6
新词雷达zhuyansen/new-term-radar
new-term-radar新词雷达
★ 2,049已汉化MCP
72.8
插件生态导航0xsline/awesome-deepseek-harness
安装 贡献指南 DeepSeek Docs 公开插件目录 Issues
★ 1,188已汉化DSH
72.6
技能注册中心iflytek/skillhub
企业级开源智能体技能注册中心——发布、发现并管理组织内可复用的技能包。
★ 5,370已汉化DSH
71.9
插件市场目录imsai-sh/awesome-deepseek-harness-plugins
面向 DeepSeek Harnessdsh生态的社区插件目录，共收录 13941 个插件含 PR 收录与…
★ 355已汉化DSH
71.8
插件精选清单Anil-matcha/awesome-dsh-plugin
DeepSeek Harnessdsh精选指南——DeepSeek…
★ 1,013已汉化DSH
71.7
这个插件是你维护的吗？
作者本人可认领并核对本条目；认领通过后，详情页会显示「作者已认领」标记。