视频学习笔记 jagathsrujan/dsh-youtube-study-notes

dsh-youtube-study-notes

一个 DeepSeek Harness（dsh）插件，把 YouTube 链接变成学习笔记——而且会把你自己的笔记也拉进来。

给它一个链接。它会抓取视频自带的字幕，抽取画面帧来读取屏幕上出现过什么，然后停下来问你从中得到了什么，最后把这三样合并成一份文档。

中间那一步才是关键。别的视频转笔记工具，给谁生成的摘要都一样。这个工具写出来的，是你自己动手记会记下的那种笔记。

它能做什么

| 步骤 | 会发生什么 |
| 1 | 字幕——yt-dlp 抓取 YouTube 已经发布的字幕轨。优先用人工撰写的，没有就用自动生成的兜底。不用 ASR，也不碰第三方转录网站。 |
| 2 | 大纲——完整读取带时间戳的转录文本，按章节整理出大纲。 |
| 3 | 画面扫描（可选）——ffmpeg 做场景变化检测，每个镜头抽一帧；视觉模型读取屏幕上的文字。这样能抓到旁白里从没念出来的幻灯片、代码、公式和图表。 |
| 4 | 提问——智能体停下来，问你注意到了什么，用你自己的话。打字或口述都行。 |
| 5 | 合并——转录文本 + 屏幕证据 + 你的观察，合成一份 markdown 文件。 |
| 6 | 保存——写出 notes.md，放在转录文本旁边，让证据和它待在一起。 |
| 7 | 清理——删掉画面静帧和任何视频文件；转录文本留下。 |

它在磁盘上留下什么

视频从不保留：第 3 步把它下载到临时目录，脚本退出时该目录即被删除（只有加 --keep-video 才能让它留下来）。notes.md 一生成，第 7 步就会删掉那些画面 JPEG——它们派生自别人的视频，通常有几十 MB，而转录文本只有几 KB。

保留下来的是这些，因为它们是每一句口述说法的证据，而且几乎不占空间：

transcript.md transcript.txt meta.json notes.md

cleanup.py 拒绝在缺少上述任一标记文件的目录上动手，所以它不会被指向无关的文件夹。想自己查看静帧，加 --keep-frames。

安装

dsh plugin --profile <your-profile> add dsh-youtube-study-notes

装完重启配置档——bundle 的变更在启动时生效。

然后用下面任一方式触发：

/youtube-study-notes https://youtu.be/VIDEO_ID

或者直接用大白话说（「帮我从这个视频里整理笔记：……」）。一个链接，加上要笔记、要摘要或要学习资料的请求，就够了。

桌面客户端： 桌面应用自己管理配置档。走它的 Plugins → Add plugin 流程，别用命令行，安装完成后启用 bundle。

环境要求

插件本身不带运行时代码——它的核心是技能（Skill），由技能驱动本地工具。dsh 不会替你装这些：

| 工具 | 作用 | 安装 |
| python3 | 运行内置脚本（仅用标准库） | brew install python3 |
| ffmpeg / ffprobe | 音视频探测、场景检测、抽帧 | brew install ffmpeg |
| yt-dlp | 列出并下载字幕 | brew install yt-dlp |

技能会检测缺失的工具，报出名字，等你确认后才安装。

启用视觉环节

第 3 步需要一个能接收图片的模型，而很多模型条目并不能——哪怕名字里写着「vision」。只有当配置里声明了 input: [text, image]，模型才会收到图片；否则条目默认是 ["text"]，harness 会在附加图片前直接拒绝：

model "<provider>/<model>" does not declare image input

技能会处理这种情况：先对单帧试一次 read_image。如果会话模型能看图，就直接读取帧。如果不能，就通过 workflow 工具的按智能体 provider / model 覆盖来委派，并问你一次要用哪个支持图片的模型。

要让某个模型明确支持图片，在你的配置档的 cordis.patch.yml 里声明它（配置档让你编辑的是这个文件，不是 cordis.yml）：

- id: llm-pi-ai
name: "@deepseek-ai/dsh-llm-pi-ai"
config:
providers:
your-provider:
...existing provider config...
models:
- id: "your-vision-model"
name: "Your Vision Model"
contextWindow: 200000
input:
- text
- image

配置档开了热重载的话，不用重启就能生效。

只有端点确实提供图片时才这样声明。 过度声明会让图片被放进来，然后服务商在回合中途拒绝它，而此时消息已经落盘。声明不会替你验证。

如果你完全跳过这些，插件照样能用——只是产出纯文字稿笔记，并且会说明这一点，而不是假装看到了画面。

限制

- 没有字幕的视频会中断运行。 如果视频根本没有字幕轨（连自动生成的都没有），第 1 步会报告是哪个视频失败并停止。不会编造内容来填补空缺。需要覆盖这类视频的话，搭配一个本地语音转文字插件。
- 自动生成的字幕很粗糙——没有标点，专有名词听错。技能总会报告拿到的是哪一种。
- 视觉读取在字符层面可能出错。 句号可能读成连字符，1 可能读成 l。读散文没问题，读代码和公式值得再核对一遍。技能被要求标出任何看起来有歧义的关键内容。
- 抽帧看到的是镜头，不是运动。 一个镜头里逐步搭起来的图表，只会得到一帧。
- 仅供个人学习使用。 字幕、帧和笔记都源自他人的作品。不要重新发布。

它是怎么搭起来的

package.json declares dsh.bundle → cordis.patch.ymltext
cordis.patch.yml 插入一行 @deepseek-ai/dsh-skill-filesystem lib/index.js resolveSkillRoot() —— 从配置档自身的模块标识解析 skills/ skills/youtube-study-notes/ SKILL.md 工作流 scripts/ yt_transcript.py、video_frames.py、cleanup.py references/ 笔记模板与合并规则

这个包把它的 skills/ 目录挂载为隔离服务商（includeDefaultRoots: false），所以安装它只会贡献一个技能，不会遮蔽或重排你已有的技能。

许可证

MIT —— 见 LICENSE。