AI 代码覆盖率归因SleepEggTart/dsh-code-coverage

dsh-code-coverage

CI
npm version
license
node

AI 给你写的代码，到底有多少在被测试保护着？

解析 DeepSeek Harness（DSH）session 日志，归因 AI 写了哪些文件，再叠加 c8 覆盖率数据，产出 「AI 代码 vs 人工代码」覆盖率对比、未测 AI 文件风险清单与信任分。

这不是又一个覆盖率工具——c8 已经解决了覆盖率本身。我们的护城河是归因：通过解析 DSH session 日志，精确知道哪些文件被 AI 碰过，这是 Qodo、Diffblue 等外部工具做不到的。

真实项目数据

一个实际项目的归因结果（17 个 DSH session）：

| 指标 | AI 代码 | 人工代码 |
|------|---------|----------|
| 行数 | 870 | 9,772 |
| 覆盖率 | 68% | 5% |

信任分：68 / B

AI 生成的代码覆盖率反而更高——因为 AI 写代码的同时把测试也写了。而 9,772 行人工代码，覆盖率只有 5%。

安装

方式一：一键安装（推荐）

Windows
git clone https://github.com/SleepEggTart/dsh-code-coverage.git
cd dsh-code-coverage
.\install-plugin.ps1

Mac/Linux
git clone https://github.com/SleepEggTart/dsh-code-coverage.git
cd dsh-code-coverage
chmod +x install.sh && ./install.sh

方式二：作为 DSH 插件安装（npm）

安装到 DSH web profile（dsh 官方插件安装方式）
dsh plugin --profile web add dsh-code-coverage

重启 DSH
dsh web

方式三：手动安装（本地开发）

git clone https://github.com/SleepEggTart/dsh-code-coverage.git
cd dsh-code-coverage
npm install
npm run build

打包并安装到 DSH web profile（版本号以 npm pack 实际输出为准）
npm pack
dsh plugin --profile web add ./dsh-code-coverage-0.1.1.tgz

重启 DSH
dsh web

注意：DSH 不读取 ~/.dsh/config.yml 之类的配置文件来加载插件。
插件统一通过 dsh plugin --profile  add  安装到对应 profile。

前提条件：
- Node.js ≥ 18
- 本机已安装 DeepSeek Harness（~/.dsh 目录存在）
- 项目中存在 package.json

快速开始（CLI 独立使用）

安装 CLI（独立于 DSH 插件使用）
npm install -g dsh-code-coverage

分析当前目录
dsh-code-coverage

分析指定项目
dsh-code-coverage --cwd /path/to/your/project

覆盖自动探测的测试命令
dsh-code-coverage --test-command "npm test -- --pool=threads"

输出 JSON（供脚本/插件消费）
dsh-code-coverage --json

生成 HTML 报告
dsh-code-coverage --html report.html

限制"高危未测文件"显示条数
dsh-code-coverage --top 5

定位高危未测 AI 文件，生成补测试计划（写入 dsh-fix-plan.json）
dsh-code-coverage fix --top 3

按计划补完测试后，与上次存档对比验证提升效果
dsh-code-coverage verify

参数说明

| 参数 | 说明 |
|------|------|
| --cwd  | 目标项目目录（默认：当前工作目录） |
| --test-command  | 覆盖自动探测的测试命令 |
| --dsh-root  | DSH 根目录（默认：~/.dsh，主要用于测试） |
| --json | 输出 JSON 格式 |
| --html  | 生成 HTML 报告到指定文件路径 |
| --top  | 高危未测文件显示条数（默认：10） |
| --help | 查看帮助 |
| --version | 查看版本 |

输出示例

╭─────────────────────────────────────────────────────╮
│  dsh-code-coverage — AI 代码信任报告                │
╰─────────────────────────────────────────────────────╯

项目:         /path/to/project
Session 数:   17 个 DSH session 已归因
测试命令:     vitest --pool=threads

┌──────────────┬────────┬──────────┐
│              │   行数 │ 覆盖率   │
├──────────────┼────────┼──────────┤
│  AI 代码     │    870 │     68%  │
│  人工代码    │  9,772 │      5%  │
└──────────────┴────────┴──────────┘

信任分: 68 / B

⚠ 高危未测 AI 文件（Top 3）:
1. src/hooks/userealsendmutation.ts — 250 行未覆盖
2. ...

作为 DSH 插件使用

将本包安装为 DSH 插件后，Agent 在会话中可直接调用三个工具，无需手动运行 CLI：

安装到 DSH web profile（不要用 npm install -g，全局安装不会进入 DSH）
dsh plugin --profile web add dsh-code-coverage

重启 DSH
dsh web

| 工具 | 用途 |
|---|---|
| code_coverage_check | 分析 AI 代码覆盖率，产出信任分卡片 |
| code_coverage_fix | 定位高危未测 AI 文件，生成补测试计划（写入 dsh-fix-plan.json） |
| code_coverage_verify | 补测后重跑管线，与上次存档对比验证闭环效果 |

对话闭环示例：说"帮我提高这个项目的信任分"，Agent 会依次调用 check（发现）→ 按计划补测试 → verify（验证提升）。

工作原理

三步自动化完成：

1. 归因 — 解析 ~/.dsh/sessions/ 下的 session 日志，识别 AI 创建或修改过的文件。支持 write、edit、str_replace_editor 三类工具调用，包含 subagent 子会话。

2. 覆盖率 — spawn c8 --all 收集测试套件的 V8 覆盖率数据。--all 标志确保从未被测试 import 的文件也会出现在报告中——AI 写了但从未被加载的文件恰恰是最危险的。

3. 交叉分析 — 将归因结果与覆盖率数据交叉比对，产出：
- AI 代码 vs 人工代码的行数与覆盖率对比
- 未测 AI 文件风险清单（按未覆盖行数排序）
- 信任分（0–100 分，附字母等级）

已知限制

提 issue 前请先阅读这些边界：

- vitest 3 pool=forks 屏蔽覆盖率。 vitest 3 默认 pool: forks，会阻止 Node 的 NODE_V8_COVERAGE 传递到子进程，导致覆盖率恒为 0。解决方法：加 --pool=threads（如 npm test -- --pool=threads）。这是 vitest 的问题，不是本工具的 bug。

- Shell 命令写文件不解析。 pwsh/bash 通过输出重定向（> / >>）写入文件的调用，MVP 不做解析。目前仅归因 write、edit、str_replace_editor 三种工具调用。

- 仅支持 JS/TS。 c8 的覆盖率采集针对 JavaScript 和 TypeScript，不支持其他语言。

- 文件级归因，非行级。 只要文件被 AI 碰过，整个文件就算 AI 生成。行级归因计划在 v0.3 实现。

- 人工事后修改不重新分类。 如果 AI 写了一个文件，人工后来改过，该文件仍算 AI 生成。这是有意为之的简化。

- 测试命令按空白拆分。 --test-command 按空白字符拆分参数，不支持带引号的复杂命令。建议传入 wrapper 脚本。

关于覆盖率数字

覆盖率是一个有用的起点指标，不是质量判决。

2026 年社区已有反面案例：91% 行覆盖率的项目在实践中零 bug 检出——因为被覆盖的行是 trivial 的，而关键路径仍处于测试盲区。

信任分高，只意味着 AI 生成的文件有测试，不代表测试质量高。用这个工具来发现盲区，而不是证明质量。

Roadmap

| 版本 | 状态 | 说明 |
|------|------|------|
| v0.1 | ✅ 已发布 | 文件级归因、c8 覆盖率叠加、信任分、终端 + JSON + HTML 输出 |
| v0.1.1 | ✅ 已发布 | fix / verify 补测试闭环（插件三工具 + CLI 子命令）、行级 gap 精确指引（补测计划定位到"第 X-Y 行"） |
| v0.2 | 计划中 | 趋势追踪 — 基于 .dsh-coverage/history.jsonl 运行存档展示覆盖率与信任分变化趋势 |
| v0.3 | 计划中 | 行级归因（当前仅支持文件级） |

开发

克隆仓库
git clone https://github.com/SleepEggTart/dsh-code-coverage.git
cd dsh-code-coverage

安装依赖
npm install

构建
npm run build

运行测试
npm test

类型检查
npm run typecheck

License

MIT