采源 a3079566007-pixel/dsh-forage

dsh-forage · 采源

把视频「采」成可检索的知识：快扫候选、精选深采、转写口播、抽帧 OCR、写回摘要、本地模糊检索。

Forage（v. 觅食、采集）——像觅食一样在视频流里挑有用的东西，而不是把整个平台搬回家。
DSH 插件（宿主层）+ Python 引擎（转写 / OCR / SQLite）。本仓库是插件与引擎的合集。

为什么叫这个名字

- 中文 采源：采集信源、留存知识；
- 英文 Forage：主动觅食，强调「按偏好挑」，不是无差别抓取；
- 命名前检查过 npm 与 DSH 插件目录：dsh-harvest 已被 @stifer/dsh-harvest 占用，dsh-forage 无冲突。

能力

| 工具 | 作用 |
| forage_plan | 把方向性需求展开成检索计划（含时长/排除词过滤） |
| forage_search | B 站快扫元数据（WBI 签名，不下载），按播放/点赞/新鲜度/兴趣评分 |
| forage_ingest | 后台深采：音频转写（faster-whisper）+ 可选抽帧 OCR |
| forage_digest | 取材料包（元数据 + 转写 + OCR），交给模型写摘要 |
| forage_note | 写回摘要与标签，进入检索库 |
| forage_kb | 本地模糊检索（FTS + 中文二元组兜底） |
| forage_status | 库状态与进行中的采集 |

架构

DSH 插件（Node，薄壳） ├─ Config：pythonPath / scriptPath / whisperModel / defaultFrames / timeout └─ 7 个 defineTool ──spawn──> engine/harvest.py --json <cmd> ├─ B 站 WBI 搜索（requests） ├─ yt-dlp 下载 → faster-whisper 转写 ├─ ffmpeg 抽帧（场景检测 + 哈希去重）→ rapidocr └─ SQLite（trigram FTS + 二元组模糊）

安装（DSH）

1) 引擎：放到 ~/.dsh/harvest/
mkdir "$env:USERPROFILE\.dsh\harvest"
copy engine\harvest.py "$env:USERPROFILE\.dsh\harvest\harvest.py"
copy engine\profile.example.json "$env:USERPROFILE\.dsh\harvest\profile.json"

2) 插件：本地 link 安装 profile 的 package.json 里加依赖与 bundle，然后 pnpm install

依赖：Python 3.12、yt-dlp、ffmpeg、faster-whisper、rapidocr_onnxruntime。
国内网络：HF_ENDPOINT=https://hf-mirror.com + HF_HUB_DISABLE_XET=1（引擎已内置）。

配置

| 字段 | 默认 | 说明 |
| pythonPath | python | Python 可执行文件 |
| scriptPath | ~/.dsh/harvest/harvest.py | 引擎路径 |
| whisperModel | small | tiny 对中文技术词误差大 |
| defaultFrames | false | 默认是否抽帧 OCR |
| timeoutMs | 60000 | 单次工具超时 |
| ingestTimeoutMs | 1800000 | 预留 |

限制

- 抖音只支持链接导入（yt-dlp），搜索用 whale_dive_*；
- OCR 对竖屏低码率视频不准，横屏 1080p 可用；关键帧原图保留，可用视觉模型精读；
- ASR 专有名词会错（LoRA→RORA），摘要需按上下文校正；
- 长任务为 detached 进程，异常状态落 failed，可用 harvest.py --json status 排查。

目录

package.json DSH 插件清单 cordis.patch.yml loader 插桩 lib/index.js 宿主层（工具注册 + spawn） lib/schemas.js 工具 schema（纯数据） engine/harvest.py Python 引擎（CLI + --json） engine/profile.example.json docs/SKILL.md 给模型看的使用说明

License

MIT © 2026 mikejikichen