屏幕增量帧怎么选、怎么拼:See Now 的实现路径
定时截屏两条路都走不通:每 2 秒一张,一分钟 30 张图几乎全一样;每 30 秒一张,中间发生的事全丢,模型只能回「看起来你在用电脑」。 SAOS-3624/dsh-see-now (站内名 See Now)选了第三条:先给每帧打一个变化分,判断值不值得看,再决定传不传。下面只拆机制和账。
定时截屏两条路都走不通:每 2 秒一张,一分钟 30 张图几乎全一样;每 30 秒一张,中间发生的事全丢,模型只能回「看起来你在用电脑」。SAOS-3624/dsh-see-now(站内名 See Now)选了第三条:先给每帧打一个变化分,判断值不值得看,再决定传不传。下面只拆机制和账。
一把 0–255 的尺,和它的零点
每帧进来先算一个 0–255 的变化分:HSV 三通道加权差,在 64×36 的网格上算,约 0.2ms。它是同一套代码在真实素材上标定过的刻度。
| 内容 | 分数 |
|---|---|
| 静止桌面 | 0.00(屏幕采集近似无损) |
| 光标在静止画面上移动 | 0.7 |
| 两张色调接近的照片切换 | 16~18 |
| 滚网页 / 切窗口 | 30~42 |
| 两张完全不同的照片切换 | 46~63 |
切点的绝对地板 cutAbs 默认 12,位置卡得很准:照片切换抓得住,光标和微小抖动碰不到。往上还要求比前后邻居高 2.5 倍、mc 覆盖够、距上一刀至少 0.4 秒——「跳得高」之外还得「跳得孤立」。
mc 是运动补偿后「变了多少格」的占比,搜索半径默认 4 格:整屏平移 8 格时半径 2 会误报 194,半径 4 只有 5。
阈值为什么不能跟着画面涨
单看尖峰不够,因为尖峰是相对量。实测一段缓慢放大出现了 s=13.6、邻居只有 1.1 和 1.3 的帧——尖峰判据完全放行,没有地板,这段就会被切成碎块。
于是有了第二套判据:积分。每帧把自己的分累加,累够就录一帧、清零。门槛写成
need = 4 分 × 12fps × 3 秒 = 144
关键在于 144 是固定绝对值,不随画面内容浮动。反过来只有地板也不行:一镜到底的视频每帧稳定 4 分,永远不会「跳」。尖峰管「突然换了一张」,积分管「一直在动、攒够了量」。
拼图:把固定成本摊到 4~8 帧上
留下来的帧按真实像素位置拼进同一张画布,固定成本摊到 4~8 帧上。口径按宿主 DeepSeek-V4 的 patch 网格:14px patch 向上对齐成 42px 一格,按 rows×(cols+1)+2 结算。
| 档位 | 画布(画面 + 音轨条) | 每张 token |
|---|---|---|
| low(默认) | 798×450 + 12px = 798×462 | 222 |
| standard | 1050×600 + 30px = 1050×630 | 392 |
| high | 1260×720 + 36px = 1260×756 | 560 |
| ultra | 1596×900 + 24px = 1596×924 | 860 |
一张图塞 4 帧还是 8 帧价格一样:多留一帧几乎免费,漏掉一帧才贵。所以帧数不是成本变量,出图次数才是。
宽度故意不对齐 16:9,而是对齐 42:800 会被 pad 到 812,等于 19.3 格,白算一整列;798 正好 19 列,面积只少 0.25%。音轨条同理不花钱——token 按 42px 一行阶梯计,450 高占 11 行、上界 462,底下空着那 12px 照样收钱。
格子大小是唯一能表达「重要」的通道
模型没有瞬时视觉,格子大小是它判断「这一刻有多重要」的唯一线索。默认 tierMode: density,按过去 1 秒的平均帧率定格子;weight 按每帧变化分切面积,area ∝ score、k = ceil(1/√area),同一张图里会出现明显的大小对比。
实测 60 秒素材:PV 用 density 出 11 张、一张覆盖 5.5 秒、2358 token/分;换 weight 后 6 张、覆盖 10 秒、1290 token/分,省 45%。游戏素材 7 张 1501 token/分 → 5 张 1075,省 28%。
代价是一张图覆盖 5.5 秒变成 10 秒,出图更慢,模型看到的「现在」更旧。第三种模式 dwell 已删——补测五段素材零次胜出。
换一种用法:直接驱动流水线
包不依赖 DSH,capture 与 pipeline 独立导出,可以自己拼一条:
import { spawnFrames } from 'dsh-see-now/capture';
import { createPipeline } from 'dsh-see-now/pipeline';
const p = createPipeline({ width: 800, height: 450, fps: 12, queueDepth: 0 });
spawnFrames({
source: { kind: 'screen' },
width: 800, height: 450, fps: 12,
onFrame: (f) => p.push(f),
});
const sheet = p.take(); // 一张 PNG + 每帧的时间戳/档位/来源
width 填 800 会被内部对齐到 798;queueDepth: 0 表示不排老图——宁可丢,也不给模型看旧画面。
真正吃钱的不是单张,是累积
222 token 只是编码成本。一张 798×450 的 PNG 约 130 KB,base64 之后约 173 KB,这段 base64 留在会话历史里会反复参与计费。
宿主的「图片省略」:单个请求里 base64 图片总量超过 maxRequestImageBytes(默认 20 MiB)时,最老的图被永久换成附件路径占位文字再重试。永久意味着改的是历史本身,前缀缓存从被改处往后全部对不上——社区实测,图片从第 43 万 token 处出现,每省略一张,后面 14 万 token 重新算钱。
按 20 MiB ÷ 173 KB ≈ 120 张换算:dense 档 110 秒出 6 张、一小时约 200 张,半小时出头撞线;默认节奏也在一小时上下。
所以「少发一张」比「压小一张」值钱得多:压小只省下编码那 222,少发一张省掉的是它之后每次被重新计费的可能。插件拦不住省略,它发生在宿主发请求之前;能做的只有长会话主动分段、别长期挂 dense,以及承认「静止画面不出图」本身就是免费时段。
已知限制
只认「画面变了」,不认「语义变了」:同一句话的两个排版算变化,长得像的页面可能算没变。没有跨帧去重,不保证每帧都带新信息。前景外圈守卫有边界:外圈也被覆盖时只能靠低分未来帧确认,前景停住且 bg ≥ 220 时仍挡不住;反过来,切到「外圈固定、主体只在中部变」的近景可能被误挡。
总结
它省钱的顺序是「先少发、再拼紧、最后才压小」;想对照同类插件的中文清单与安装形态见 DeepSeek Harness Hub 插件清单。
适合与不适合
适合:AI 跟着你操作电脑、随时回答「现在这个报错是什么」;陪看长视频只想抓住镜头切换;屏幕长期静止、只在少数时刻有变化。
不适合:要求逐帧还原动作细节;需要理解语义而非像素差异;预算极紧又要长时间挂着跑。
标签:See Now、DeepSeek Harness、屏幕增量帧、token 成本
本文由 DeepSeek Harness Hub 自动整理,数据来源于插件详情页。