检索去重检测PerryLink/Retrieval-Diversity-Check

Retrieval-Diversity-Check

使用 TF-IDF 余弦相似度检测检索结果中的重复内容、帮助减少 RAG 系统冗余 Token 的命令行工具。

已移植到 dsh-library —— PerryLink DSH 插件家族的一员。

License

English · 简体中文

功能简介

Retrieval-Diversity-Check 读取一组检索文本，使用 TF-IDF 与余弦相似度计算两两之间的相似度。超过可配置阈值的文本对被报告为重复，并给出去重后可能节省的 Token 占比估算。

功能特性

- 基于 TF-IDF 向量化计算余弦相似度（scikit-learn）
- 超过可配置阈值（默认 0.9）即判定为重复
- 给出去重后的 Token 节省估算
- 支持文本（每行一条）与 JSON 列表两种输入格式
- 可选相似度矩阵视图（-v）
- 使用 Rich 渲染终端输出

快速开始

需要 Python 3.8+ 与 Poetry。

git clone https://github.com/PerryLink/Retrieval-Diversity-Check.git
cd Retrieval-Diversity-Check
poetry install

使用方法

从文件读取（每行一条文本）
retrieval-diversity-check -i input.txt

从标准输入读取
echo -e "text1\ntext2\ntext1" | retrieval-diversity-check

JSON 列表输入
retrieval-diversity-check -i data.json -f json

调整阈值并显示相似度矩阵
retrieval-diversity-check -i input.txt -t 0.85 -v

JSON 输入是一个纯字符串列表：

["text1", "text2", "text3"]

| 参数 | 默认值 | 说明 |
|------|--------|------|
| -i, --input | stdin | 输入文件路径 |
| -f, --format | text | 输入格式（text / json） |
| -t, --threshold | 0.9 | 相似度阈值 |
| -v, --verbose | 关 | 显示相似度矩阵 |

检测到重复时，工具会输出重复文本对及其相似度分数，以及可节省的 Token 百分比：

总文本数: 10
唯一文本: 6
重复文本: 4

⚠️  检测到 4 个重复源
💰 已为您节省 40% Token

重复文本对:
• 文本 #1 ↔ 文本 #3 (相似度: 0.95)
• 文本 #2 ↔ 文本 #5 (相似度: 0.92)

未检测到重复时，它会报告所有文本都具有足够的多样性、信息熵高。

基于 scikit-learn、NumPy 与 Rich 构建；测试使用 pytest。

开发

poetry run pytest -v

相关项目

- dsh-library —— 本工具已移植进的 DSH 插件
- PerryLink —— PerryLink DSH 插件家族

许可证

Apache License 2.0 © 2026 PerryLink