RSS 简报JohnXu22786/rss-digest

dsh-rss-digest

English · 简体中文

RSS/Atom 订阅聚合、智能摘要与每日 Markdown 简报 —— 一个原生的 dsh bundle（DeepSeek Harness，「一切皆是插件」）。

插件负责订阅源管理（本地持久化）、定时抓取、标题/内容相似去重、调用 harness 的 LLM 生成中英文简报摘要（模型不可用时自动降级为原文摘要），并将每日简报投递到实时会话和/或本地文件。同时附带一个共享同一套核心的独立 CLI。

- dsh 集成：遵循 bundle 规范（dsh.bundle + cordis.patch.yml），通过 ctx.tools 注册模型工具，通过 harness 的定时器接缝做周期任务，通过 Agent 跟进消息投递简报。详见架构。
- 零依赖核心：抓取/解析/去重/存储/简报核心模块不依赖任何第三方包，只有 dsh 集成层会引入 @deepseek-ai/。

功能

- 订阅管理 — 添加 / 移除 / 列出 / 启停 RSS 2.0、Atom、RSS 1.0（RDF）源；数据持久化到单个带版本号的 JSON 文档，原子写入、损坏自动隔离。
- 定时抓取 — 可配置轮询间隔、启动首轮、单请求超时、文档大小上限、重试次数与条目保留上限。
- 相似去重 — 精确哈希 + 词元 Jaccard 近似去重（中文按字符二元组），阈值可配置。
- 智能摘要 — 每次简报一次批量调用或逐条调用，中文/英文，输出长度受限；任何模型调用失败都自动降级为原文摘要。
- 每日简报 — 在指定时刻（支持 IANA 时区）生成 Markdown 简报，投递到实时会话（Agent.followup）和/或写入 digests/.md。
- 双入口 — 同一 RssService 同时驱动 dsh 插件（ctx.tools + 定时器）与独立 CLI。

安装（dsh）

bundle 即一个携带配置层的 npm 包。把它安装进 dsh profile 即可，加载器会自动读取 dsh.bundle 声明并应用 cordis.patch.yml：

在 profile 内，或使用 --profile  从任意目录执行
dsh plugin --profile demo add ./path/to/dsh-rss-digest
或从 registry 安装：  dsh plugin --profile demo add dsh-rss-digest

profile 清单会把 dsh-rss-digest 写入 dsh.profile.bundles，bundle 的补丁随之插入插件行：

- insert:
- id: rss-digest
name: 'dsh-rss-digest'

可选：在 profile 自己的 $DSH_HOME/profiles/demo/cordis.patch.yml 中按行 id 覆盖配置（省略的字段保持默认值）。完整注释示例见 examples/profile.cordis.patch.yml：

- id: rss-digest
config:
fetch:
intervalMinutes: 60
summary:
language: zh
mode: batch
digest:
time: '08:30'
timezone: Asia/Shanghai
deliverTo: both

即使完全不配置，插件也能以合理的默认值启动；之后在对话中调用 rss_add，或在 shell 里执行 dsh-rss-digest add 即可注册订阅源。

Peer 依赖：插件将所链接的 dsh 包（@deepseek-ai/cordis、@deepseek-ai/dsh-tools、@deepseek-ai/dsh-llm、@deepseek-ai/cordis-plugin-timer）声明为 peer。dsh profile 已自带这些包；若包管理器提示 peer 未满足，可在 profile 目录执行一次 pnpm --dir $DSH_HOME/profiles/demo add 安装这四个包（profile 链接器会补齐其余部分）。

配置项

所有字段均可省略；apply(ctx, config) 拿到的永远是补全默认值后的完整配置。

| 字段 | 默认值 | 说明 |
| --- | --- | --- |
| dataPath | '' | 存储文件路径。'' 依次解析 $DSH_RSS_DIGEST_DATA、$DSH_HOME/data/rss-digest/store.json、./.dsh-rss-digest/store.json。 |
| sources[] | [] | 启动时合并的初始订阅：{ url, title?, enabled? }，重复 URL 忽略。 |
| fetch.enabled | true | 是否启用周期轮询。 |
| fetch.intervalMinutes | 60 | 轮询间隔（最小 5）。 |
| fetch.onStartup | true | 启动约 10 秒后执行一轮抓取。 |
| fetch.requestTimeoutMs | 15000 | 单请求超时。 |
| fetch.sizeLimitBytes | 1048576 | 接受的文档大小上限。 |
| fetch.retries | 2 | 瞬时故障（网络 / 5xx / 429 / 408）重试次数。 |
| fetch.maxItemsPerSource | 50 | 每源每轮保留的解析条目数（保留最新）。 |
| fetch.storeContentChars | 4000 | 存储摘要/正文的截断长度。 |
| fetch.maxStoredItems | 1000 | 条目保留上限（按抓取时间裁剪最旧）。 |
| dedupe.threshold | 0.9 | 近似重复判定所需的最小词元 Jaccard 相似度。 |
| dedupe.compareContent | false | 标题为空时是否用正文参与精确去重。 |
| summary.enabled | true | false 强制使用原文摘要。 |
| summary.mode | batch | batch = 每次简报一次模型调用；single = 逐条调用。 |
| summary.language | zh | 摘要正文语言：zh \| en。 |
| summary.maxLength | 800 | 摘要正文的硬性字符上限。 |
| summary.maxTokens | 1024 | 模型调用的 token 预算提示。 |
| summary.provider | '' | dsh provider 路由；'' = 第一个已注册 provider。 |
| summary.model | '' | 模型 id；'' = 该 provider 第一个列出的模型。 |
| digest.enabled | true | 是否启用每日简报调度。 |
| digest.time | '08:00' | 触发时刻（HH:MM）。 |
| digest.timezone | '' | IANA 时区；'' = 主机本地时间。 |
| digest.maxItems | 20 | 每份简报的最大条目数。 |
| digest.deliverTo | both | agents \| file \| both —— 投递到实时会话、写入 digests/.md、或两者。 |
| digest.includeItemLinks | true | 条目列表是否带原文链接（仅 http/https）。 |

模型工具（ctx.tools）

插件通过 ctx.tools 注册以下工具，模型可在任意会话中调用：

| 工具 | 参数 | 行为 |
| --- | --- | --- |
| rss_list | — | 列出订阅（id、url、标题、启停状态）。 |
| rss_add | url（必填）、title? | 订阅一个源，返回新源信息。 |
| rss_remove | id（必填） | 退订并删除该源的条目。 |
| rss_fetch | id? | 立即抓取单个（或全部）源；自动去重。 |
| rss_digest | language?、mode?、maxItems? | 对未入简报的条目生成 Markdown 简报并返回。 |

对话示例：

user: 帮我把 Hacker News 加进来，然后生成今天的简报
model: [rss_add: https://hnrss.org/frontpage]
[rss_fetch]
[rss_digest: language=zh]

调度模型

dsh 的 ctx.jobs 注册表面向长时间运行的任务执行（bash / subagent 类任务），并非 cron 定时 API。harness 的调度接缝是定时器服务（ctx.timeout / ctx.interval，通过 inject: ['timer'] 注入）——本插件即使用该接缝：

- 抓取周期：ctx.interval（间隔可配置），外加启动首轮；
- 每日简报：自续订的 ctx.timeout —— 每次执行后重新计算下一个 HH:MM 时刻（基于 Intl，兼容时区与夏令时），因此简报始终锚定在配置的墙钟时间上；运行中加锁防止重叠执行。

投递方式

harness 没有广播 API；插件向实时会话投递内容的方式是给每个运行中的 Agent 排队一条 user 角色消息（Agent.followup，与内置任务通知相同的机制）。digest.deliverTo = agents 即此行为；file 在存储文件旁写入 digests/.md；默认 both。没有 agent 服务的 headless profile 只走文件/日志路径，插件启动时并不依赖 agent 服务。

CLI

同一套核心，无需 harness：

dsh-rss-digest add https://hnrss.org/frontpage
dsh-rss-digest fetch
dsh-rss-digest digest --lang zh --out digest.md
dsh-rss-digest list --items
dsh-rss-digest status

运行 dsh-rss-digest help 查看完整命令参考。CLI 通过 OpenAI 兼容的 /chat/completions 接口调用模型（默认 DeepSeek：https://api.deepseek.com，密钥来自 DEEPSEEK_API_KEY，模型 deepseek-chat）；无凭据时降级为原文摘要——与插件在 harness LLM 失败时的行为一致。

数据

单个 JSON 文档（schema: 1），原子写入；损坏文件会被改名隔离（.corrupt-）而不是删除。订阅 URL（含查询串，签名源经常需要）按原样持久化；日志中的 URL 不显示查询串。环境变量：DSH_RSS_DIGEST_DATA（存储路径）、DEEPSEEK_API_KEY（CLI）。

架构

src/
index.ts        dsh bundle 入口：name / inject / Config / apply
config.ts       Config 接口 + Schemastery 校验 schema（含默认值）
tools.ts        rss_list / rss_add / rss_remove / rss_fetch / rss_digest
scheduler.ts    定时器接缝调度（抓取周期 + 自续订每日简报）
delivery.ts     Agent.followup 投递 + digests/.md 文件
dsh-llm.ts      ctx.llm 适配（流式调用、provider/model 解析）
service.ts      RssService —— 核心编排（不依赖 dsh）
parser.ts       零依赖的 RSS 2.0 / Atom / RSS 1.0 解析器
fetcher.ts      带超时、大小上限、重试与编码探测的抓取器
dedupe.ts       文本归一化、精确哈希、词元 Jaccard 相似度
store.ts        带版本号的 JSON 持久化（原子写入、损坏隔离）
summarizer.ts   LLM + 原文摘要（降级契约）
digest.ts       Markdown 简报渲染（安全链接处理）
llm-client.ts   OpenAI 兼容 REST 客户端（CLI）
cli.ts          独立 CLI 入口（bin: dsh-rss-digest）

核心层（service.ts 及其以下）零运行时依赖；只有 dsh 集成层引入 @deepseek-ai/。

开发

npm install
npm run build     # tsc -> lib/
npm test          # build + node --test（79 个用例：解析、去重、存储、
抓取、时间、摘要、简报、服务、CLI、接线）
node lib/cli.js status

需要 Node >= 22.18。

许可

MIT —— 见 LICENSE。