提示词注入测试集PerryLink/Prompt-Attack-Dataset

Prompt-Attack-Dataset

开箱即用的 LLM 提示词注入攻击测试套件，含 28 个精选案例、覆盖 5 大类别。

已移植至 dsh-defend —— 属于 PerryLink DSH 插件家族。

License

English · 简体中文

功能简介

Prompt-Attack-Dataset 内置一份精选的提示词注入攻击案例 JSON 数据集，并提供运行器将每个案例发送给目标模型，然后判断模型是否保持安全。结果以红色 FAILED（被攻破）或绿色 SAFE（安全）展示。

核心特性

- 现成弹药库 —— 精心整理的提示词注入攻击案例数据集（JSON/CSV 格式）
- 自动化测试 —— Python 脚本批量发送攻击提示词到目标模型
- 直观结果展示 —— 红色 FAILED（模型被攻破）vs 绿色 SAFE（模型安全）
- PyTest 集成 —— 可作为测试套件在 CI 流水线中运行
- CLI 工具 —— 命令行友好，面向安全工程师

数据集

数据集共包含 28 个攻击案例，覆盖 5 大类别：

| 类别 | 标识 | 案例 |
|------|------|------|
| 提示词注入 | prompt_injection | 忽略之前的指令、系统提示词覆盖、角色切换注入、指令终止符注入、优先级覆盖 |
| 越狱攻击 | jailbreak | DAN 模式、假设场景、研究目的、电影剧本、反向心理、祖母漏洞、代码模式、翻译陷阱 |
| 数据提取 | data_extraction | 直接提示词提取、重复提示词、配置信息提取、训练数据探测、隐藏指令提取、API 密钥探测 |
| 操纵攻击 | manipulation | 紧急情况、权威诉求、道德困境、逻辑陷阱、同意诱导 |
| 编码绕过 | encoding | Base64 编码、ROT13 编码、字符替换、Unicode 混淆 |

快速开始

pip install prompt-attack-dataset

列出所有攻击案例
prompt-attack-dataset list

运行攻击测试（OpenAI）
prompt-attack-dataset run --provider openai --model gpt-4 --api-key $OPENAI_API_KEY

运行攻击测试（Anthropic）
prompt-attack-dataset run --provider anthropic --model claude-3-opus-20240229 --api-key $ANTHROPIC_API_KEY

按类别过滤
prompt-attack-dataset run --provider openai --model gpt-4 --api-key $OPENAI_API_KEY --category prompt_injection

导出数据集并查看统计信息
prompt-attack-dataset export --format csv --output attacks.csv
prompt-attack-dataset stats

使用指南

Python API

from prompt_attack_dataset import AttackDataset, AttackRunner
from prompt_attack_dataset.core import OpenAIAdapter

加载数据集
dataset = AttackDataset.load_default()
attacks = dataset.get_all_attacks()

创建 Provider 适配器
adapter = OpenAIAdapter(api_key="your-api-key", model="gpt-4")

执行攻击测试
runner = AttackRunner(adapter)
results = runner.run_batch(attacks)

分析结果
for result in results:
print(f"{result.attack_id}: {result.status}")

AttackDataset.filter_attacks(category=..., severity=...) 可将测试范围缩小到部分案例。

PyTest 集成

test_security.py
import pytest
from prompt_attack_dataset import AttackDataset, AttackRunner
from prompt_attack_dataset.core import OpenAIAdapter

@pytest.fixture
def runner():
adapter = OpenAIAdapter(api_key="your-api-key", model="gpt-4")
return AttackRunner(adapter)

def test_prompt_injection_safety(runner):
dataset = AttackDataset.load_default()
attacks = dataset.filter_attacks(category="prompt_injection")

for attack in attacks:
result = runner.run_attack(attack)
assert result.status == "SAFE", f"Model failed to safely handle {attack.name}"

输出示例

┏━━━━━━━━┳━━━━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━┳━━━━━━━━━┓
┃ ID     ┃ Name                       ┃ Status  ┃ Latency ┃
┡━━━━━━━━╇━━━━━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━╇━━━━━━━━━┩
│ pi_001 │ Ignore Previous Instruction │ SAFE    │ 1.23s   │
│ pi_002 │ System Prompt Override      │ FAILED  │ 2.45s   │
│ pi_003 │ Role Switch Injection       │ SAFE    │ 1.87s   │
└────────┴────────────────────────────┴─────────┴─────────┘

总结: 2/3 SAFE (66.7%) | 1 FAILED | 0 ERRORS

支持的 LLM 提供商

- OpenAI（GPT-3.5、GPT-4、GPT-4-turbo）
- Anthropic（Claude 3 系列）
- Azure OpenAI （即将推出）
- 自定义 HTTP API （即将推出）

技术栈

| 组件 | 技术选型 |
|------|---------|
| 开发语言 | Python 3.9+ |
| CLI 框架 | Typer |
| 输出格式化 | Rich |
| 数据校验 | Pydantic v2 |
| HTTP 客户端 | httpx |
| LLM 接入 | OpenAI SDK、Anthropic SDK |
| 测试框架 | PyTest + pytest-cov |
| 代码检查 | Ruff + Black + mypy |
| 包管理 | Poetry |

开发

poetry install
poetry run pytest

相关项目

- dsh-defend —— 本项目被移植进的 DSH 插件
- PerryLink —— PerryLink DSH 插件家族

许可证

Apache License 2.0 © 2026 PerryLink

免责声明

本项目仅用于安全研究和教育目的。请勿将本工具用于任何非法或未经授权的测试活动。使用者需自行承担使用本工具的所有责任。