一张图读完 90 秒视频,分镜插件把格子按镜头密度重新分配
先交代基本盘:418★、Apache-2.0、vision 类,本站信任档位「已验证 · L5 运行时冒烟」,dsh 0.2.1-rc.5 下真实装过;安全扫描口径是「含敏感能力、尚无人工评估」,它会调本机 ffmpeg,别当无风险。建仓 2026-10-26。
先交代基本盘:418★、Apache-2.0、vision 类,本站信任档位「已验证 · L5 运行时冒烟」,dsh 0.2.1-rc.5 下真实装过;安全扫描口径是「含敏感能力、尚无人工评估」,它会调本机 ffmpeg,别当无风险。建仓 2026-10-26。
它把视频变成什么
不是抽帧,是切镜头。90 秒的片子进来,出去两样东西——一张宫格图,一份对齐时间码的文本清单。清单一行一个镜头,写成 cell 7 = 00:12.00-00:12.27 cuts 1 k=6 (1/6),后面跟这一格的台词。k= 就是档位,边长是 1/k,所以"这格在画面上占多大"是写着的,模型不用推理就知道哪里密、哪里疏。
工具分工决定调用顺序:video_probe 只读容器头,不花图片 token,新片先调它;video_storyboard 出图;video_zoom 只看某段;video_locate 纯文本定位;video_subtitles 裁硬字幕。先拿全片地图、要细节再 zoom;反过来先逐帧看,token 直接爆。
格子为什么不一样大
旧版是"你要几格就切 k×k"。问题不在实现,在前提——它假设所有镜头一样重要。
90 秒的 PV,前 20 秒可能只有 6 个长镜头,后 20 秒有 24 个 0.25 秒快闪。固定 16 格平均分,长镜头浪费 12 格面积,快闪被压成 100×56 的色块。
0.6.0 改成三步算:
1. 帧 = 镜头。真切点切段,一段一帧;长镜头里用"画面变化积分"补假切点,时间轴不留空洞。
2. 档位 = 该位置的切点密度。切点看成 0/1 函数,100 帧宽窗卷积出"每帧切点概率",50 帧平滑,再按 7 个阈值加 5% 滞回切成 8 档。
3. 排布 = 按行打包。档位序列喂给 DP,按行最优填满方画布,装不下才开下一张,排完裁到内容;某张填充率低于 68%(片尾标题加演职员表)就把最长的段再切几刀凑成完全平方数,不多开图。
| 档位 | 边长 | 800 宽画布实际像素 | 典型场景 |
|---|---|---|---|
| 1 | 1/1 | 800×450 | 20 秒长镜头 |
| 2 | 1/2 | 400×225 | 3–5 秒常规镜头 |
| 4 | 1/4 | 200×113 | 1 秒左右快切 |
| 8 | 1/8 | 100×56 | 0.3 秒快闪 |
换个读法:档位不是"清晰度选项",是"这一帧能代表多长时间"的度量。0.3 秒快闪给 100×56 够了,你只要知道换没换镜头;20 秒长镜头给 800×450,是因为那 20 秒里全是信息。
token 账:三种档位的实测对照
图片按像素计费,不按格子数。单图约 233 token(800×450、42px 一格),地板 544²、封顶 994——"一格里塞几帧"不影响单价,"一张图多大"才影响。
同一段 90 秒概念 PV(1080p24,59 刀 / 13 个积分点):
| strategy | 帧 | 张 | vision token | 最小格 |
|---|---|---|---|---|
full | 73 | 18 | 6912 | — |
standard | 73 | 5 | 1920 | 95×62 |
compact | 74 | 3 | 1152 | 114×54 |
skim | 53 | 1 | 384 | 114×54 |
张数是成本主项,帧数不是。 compact 到 skim 是 3 张到 1 张,token 掉到三分之一;full 到 standard 是 18 张到 5 张,掉到约 1/3.6,而帧数都在 73 附近没动。
0.6 是加价买分辨率,不是加价买覆盖。 同一段 PV,0.5.x 固定 16 格 2 张 768 token,快剪区 100×56(糊)、长镜头 200×113(浪费);0.6.0 的 compact 3 张 1152 token,快剪区 114×54 但按密度分配,长镜头 400×225。多 384 token,换长镜头 4 倍清晰度。
问"讲了什么",384 token 的 skim 就够;问"这行字写的什么",得往 full 走。
参数里三个会咬人的默认值
budget 给小了会被抬回去
默认 360000 像素(800×450,约 233 token),上限 1.69M 即 1300×1300(约 994 token)。关键是低于约 296k 不再便宜:计费按 544² 放大算 192 token。你填 200000 想省钱,账单照记 192 token,图反而更小,清单里还会说明已抬到地板。
maxFrames 默认 0 就是不限
0 等于不封顶,几千个切点就取几千帧;只有填正数才按"合并最短的段"收缩。所以第一动作是先跑 dryRun: true——只扫描加排布,不出图不取帧,回报切点数和各档要几张。
maxSheets 默认 0:排布器说几张就几张
张数是成本主项,这个默认值却不管钱:想封顶填正数,超了会合并段重排,时间覆盖不变。
配套的 strategy: auto 是 0.6.1 默认值,起因是一次真实的账:新会话看到枚举第一个名字是 full 就选了它,一条 90 秒 PV 花掉 6912 token,是 compact 的 6 倍。模型看不见"多一张图多少钱",选档因此被收回工具自己做:先按时长定张数预算(默认 240 秒一张),再挑"最小格还认得出"的最省那档。不想要就设 DSH_STORYBOARD_AUTO=0。
什么时候它不值得用
要逐帧辨字。 1/8 档 100×56,只够认出换没换镜头,认不出字幕和脸。读小字得走 full,或者换成把帧当真实图片交回模型的方案,那是另一个价位。
要对同一部片子问二十个问题。 图进了上下文不用重出,但细节靠 video_zoom,而 zoom 是第二轮成本。索引型方案建一次库之后追问几乎免费,这个场景它赢。
要复核结论。 清单只给原材料——时间、刀数、台词,不写"这里是高潮"。它能给的是 .evidence.json,复核还是得你对着时间码回看原片。
再补两条环境层面的:纯云端没有 ffmpeg 就跑不起来,插件不打包它,只调你装的那份;建仓不足两周,cells / sheets / maxPerSheet 在 0.6.0 已被删除,0.5.x 与 0.6.0 排布不兼容。混合档位的图里,矮格上方必有一条缝(行高取本行最高那格),填充率通常落在 79–95%。
总结
它做的是把"多少 token 换多少时间跨度"收回工具自己算,代价是分辨率按位置打折:问"讲什么"是赚的,问"逐帧辨字"是亏的。
适合与不适合
适合:先摸清一部片子讲什么再决定要不要细看;给 5 分钟到 2.5 小时的长片做一次低成本全片扫描;需要"这句话在第几分钟"的定位而非逐帧辨字;本地已有片源、环境里本来就有 ffmpeg。
不适合:要读画面里的小字或认脸——1/8 档只有 100×56;对同一部片子做大量多轮追问;纯云端无 ffmpeg 的环境;不能接受接口短期内二次变动。
标签:dsh-video-storyboard、DeepSeek Harness、视觉能力、视频分镜
本文由 DeepSeek Harness Hub 自动整理,数据来源于插件详情页。