科研实验室工具包snow-The/dsh-research-lab

dsh-research-lab

面向 DeepSeek Harness 的研究实验室工具包：一套以 wiki 为中心、
以评估严谨性为驱动的科研工作流，提炼自 AutoSci（以 wiki 作为科研项目的中心）、ASI-Bench（评估严谨性）、
daily-arXiv-ai-enhanced（摘要）、ChatPaper（论文评审）、nature-skills / research-writing-skill（学术写作）、
Supervisor-Skills（资深评审直觉），以及来自真实蒸馏实验的惨痛教训
（假设 → 结论循环、eval 口径纪律）。

工具

| 工具 | 用途 | 灵感来源 |
|---|---|---|
| rlab_wiki | 在 /.rlab/wiki/ 下编写 wiki 页面（experiment/literature/decision/todo）+ 重建索引 | AutoSci |
| rlab_experiment | 假设 → 预测 → 证据 → 结论 → 总结页面 | AutoSci + 可证伪性纪律 |
| rlab_bench | 按项目维护的评估台账（bench.jsonl）；标记口径（协议）不匹配，例如混用 test/dev 划分 | ASI-Bench |
| rlab_paper_review | arXiv id → 对抗式 8 点评审清单（同样适用于你自己的论文） | ChatPaper + ASI-Bench |
| rlab_arxiv_digest | 近期 arXiv 论文的关键词摘要 → /.rlab/digests/.md | daily-arXiv-ai-enhanced |
| rlab_writing | 按行锚定的学术表达检查（被动语态/弱动词/模糊量词/填充词/术语一致性） | nature-skills、research-writing-skill |
| rlab_related | 自构建关键词检索：NLP 分词 + SQLite FTS5，无预设词表——术语通过 TF-IDF 从你的文档中挖掘（英文单词 + 中文 n-gram）并迭代扩展（检索 → 挖掘 → 合并 → 重复） | hamuleite 风格语料库、Rocchio 相关反馈 |
| rlab_status | 一屏展示项目状态：wiki 计数、bench 报告、未完成 TODO | — |

磁盘布局

/.rlab/
wiki/
index.md            # 自动重建
experiment/.md  # 假设 → 结论
literature/.md  # 论文笔记（从摘要中链接）
decision/.md    # ADR：你为什么选择 X
todo/.md        # 待办事项
related.db           # FTS5 语料库 + 自动构建词表（rlab_related）
bench.jsonl           # 每行一条评估记录（JSON）
digests/.md     # arXiv 摘要

Eval 口径纪律（rlab_bench）

每一行都必须注明 metric、split，对于 MTEB 任务还需注明 hf_subset。当某个任务的历史记录
混用了不同划分时，报告会发出警告——比较 test 与 dev 的分数正是论文自欺欺人（以及欺骗审稿人）的经典方式。

安装

from ~/.dsh/profiles/web
pnpm add @snow-the/dsh-research-lab@file:../.dsh-starter/plugins/dsh-research-lab
add "dsh-research-lab" to dsh.profile.bundles, then restart dsh web

构建

pnpm install && pnpm build   # tsc declarations + esbuild bundle → dist/