安全代理工具集 Ed-Marcavage/awesome-security-agent-harnesses

Awesome Security Agent Harnesses Awesome

用于渗透测试、代码审计、模糊测试、漏洞发现和逆向工程的 AI 智能体：harness、沙箱、安全 MCP 服务器、基准测试和评测。

提 pull request 之前，请先读贡献指南。

正在构建或研究安全智能体 harness？加入 Discord，交流笔记、基准测试结果和新发现。

目录

- 什么是安全智能体 harness
- 代码审计 harness
- 渗透测试智能体
- 模糊测试与漏洞发现
- DARPA AIxCC 网络推理系统
- 智能体工具与集成
- 智能体沙箱
- 基准测试与评测
- 阅读材料

什么是安全智能体 harness

安全智能体 harness 是包在模型外面的一切：它运行的沙箱、它能调用的分析工具、编码了方法论的提示词和技能，以及你用来检查它的评测。大部分工程都在这里，而不在模型里。或者用 Cloudflare 的话说，在自家机群上铺开一套之后，harness 才是能留下来的那部分。

智能体擅长产出看似合理的发现，却不擅长分辨哪些是真的。智能体会改源码，让自己的 exploit 跑通，然后报告它刚造出来的 bug。所以真正重要的指标不是召回率——不先知道代码库里每一个 bug，没人能测出召回率——而是有多少未确认的发现会送到人面前：Cloudflare 的流水线把 20,799 个原始候选压到 12,057 个通过验证的，又剔掉 5,442 个重复项。harness 能复现崩溃、重放输入、重跑静态分析器，你就能在人看到之前把坏的那些扔掉。

标了 SKILL.md 的条目是技能包，不是可运行的 harness：把方法论编码成 Agent Skills，由 Claude Code 这类通用编码智能体执行。它们按用途归在对应章节。

代码审计 harness

让编码智能体跑源码的 harness：发现、分诊、验证、打补丁。

- Anthropic Defending Code Reference Harness - 用 Claude 自主发现和修复漏洞的参考实现，带威胁建模、扫描、分诊、打补丁的技能。
- audit - 基于 Claude Code SDK 构建的八阶段发现智能体，把许多窄范围智能体组合起来，让它们刻意互相质疑，并设一道显式的可达性闸门。
- Capital One VulnHunter - 智能体式安全工具，直接对源码做主动的、攻击者视角的分析。
- Clearwing - 自主源码漏洞猎手，先给文件排优先级，再分派专家智能体并行排查，把 sanitizer 崩溃当作真实信号，另有独立的网络渗透模式。
- Cloudflare Security Audit - 六阶段审计技能：多个并行猎手智能体从不同角度攻击代码库，另一些智能体负责推翻每条发现，再由全新智能体对照源码核验通过 schema 校验的 findings.json。SKILL.md。
- Google Mantis - 模块化、不绑定技术栈的安全审查技能工具箱，供编码智能体发现、复现并修补漏洞，带 gVisor 沙箱复现器和一条显式的误报过滤规则。
- Krait - 面向 Solidity 的 Claude Code 审计方法论，含 101 条启发式规则、26 个分析模块和 8 道 kill gate，逐一尝试推翻每条发现；在 50 场 Code4rena 竞赛上盲测，v8 基线精确率 100%。
- Open Kritt - 自托管编排器，调度智能体发现并验证漏洞、导出规范化的发现结果、评定严重等级，漏洞赏金记在其 Blockian 研究员身份名下。
- OpenAI Codex Security - 用 Codex 发现、验证并修复安全漏洞的命令行与 TypeScript SDK。
- OpenHack - 多智能体扫描器，依次做侦察、专家猎查、独立验证、沙箱与浏览器核验，只用开源模型。
- RAPTOR - 自主研究框架，针对代码库或二进制串起静态分析、二进制分析、漏洞验证、利用生成和补丁编写。SKILL.md。
- rust-in-peace - 面向 Rust 的漏洞研究框架，含多轮独立审查、对抗式分诊、动态验证，以及实验性的 Android APK 分析配置档。
- Trail of Bits Skills - 用于安全研究、漏洞检测和审计工作流的技能，提炼自该事务所的审计实践。SKILL.md。
- Vercel Labs Deepsec - 用编码智能体在代码库中查找漏洞的安全框架。
- Visa Vulnerability Agentic Harness - 智能体式 SAST 流水线，自主完成漏洞发现、修复与验证，输出 Markdown 和 SARIF 报告。

渗透测试智能体

这类智能体攻击运行中的应用和基础设施：侦察、利用、影响验证。

- AIDA - 不绑定模型的渗透测试智能体，在指定范围内推理，在隔离容器中执行，跨会话保留评估状态。
- AWE - 研究框架，把轻量编排层与带记忆增强、面向具体漏洞的智能体流水线配对，在 XBOW 基准上评测。
- BlacksmithAI - 多智能体渗透测试框架，在预装标准安全工具的 Docker 镜像内，带目标从侦察走到后渗透，可由 Web UI 或命令行驱动。
- BreachWeave - 多角色渗透测试框架：Manager 调度并回收并行利用的 Solver，旁观的 Observer 盯住偏移并掌握终止决定权，基于 Pi SDK 构建；在第二届腾讯云 AI 渗透测试挑战赛线上、线下两轮均位列 613 支队伍第一。
- BugTraceAI - 多智能体平台，用于经授权的 Web 应用安全测试，带独立验证、证据留存和报告。
- CAI - Alias Robotics 的网络安全智能体构建框架，提供面向攻击性测试的工具与工作流原语。
- Cairn - 把渗透测试当作状态空间搜索：Claude Code、Codex 或 Pi 的 worker 没有固定角色，只通过一块记录事实、意图和提示的黑板协作；在腾讯云 AI 渗透测试挑战赛上解出全部 54 道题，是唯一清盘的队伍。
- CHYing-agent - 人机协同渗透测试工具，由编排器在 Kali 上协调命令执行、浏览器、C2 和逆向工程子代理，基于 Claude Code Python SDK 重构；首届腾讯云 AI 渗透测试挑战赛第九名。
- CyberStrike - 攻击性安全框架，围绕签名的攻击技能、内置工具和 MCP 集成协调自主智能体，对齐 MITRE ATT&CK 和 OWASP WSTG。
- Dark-Moon - 开源（GPLv3）自主 AI 渗透测试命令行工具，通过 MCP 协调 50 个专家智能体和 140+ 攻击性工具，另配专门的 LLM 安全智能体应对 OWASP LLM Top 10；可跑在本地（Ollama/llama.cpp）或云端 LLM 上。
- hackingBuddyGPT - TU Wien 的研究框架，用大约 50 行代码就能写出 LLM 渗透测试智能体，同时发布可复用的 Linux 提权基准和开放获取的评测结果。
- HPTSA - 论文 Teams of LLM Agents can Exploit Zero-Day Vulnerabilities 背后的研究实现，用监督智能体协调各漏洞方向的子代理。
- LuaN1aoAgent - 基于因果图推理的自主渗透测试工具，把 Planner、Executor、Observer 三种角色拆开，跑在持久化事件和带证据的图记忆之上；这是 BinX 团队在首届腾讯云 AI 渗透测试挑战赛中的季军项目，此后已用 TypeScript 和 Pi SDK 重写。
- Nebula - 渗透测试助手，自动化完成信息收集、记录笔记和工具编排。
- NeuroSploit - Rust 编写的 harness，把 URL、仓库或主机变成一次自主渗透行动，只挑选与目标面匹配的专家智能体，并跨模型验证发现。
- PentAGI - 全自主多智能体渗透测试系统，带 Docker 隔离、规划与监督、持久记忆和 Web 控制台。
- Pentest Copilot - 端到端驱动 Kali 攻击机的智能体，按需安装工具，操作 Burp 和真实浏览器，还能拉起并行子代理。
- Pentest Swarm AI - Go 编写的 harness，通过共享的信息素黑板协调信息收集、分类、利用和报告智能体，按发现的权重唤醒对应智能体，而不是走固定的流水线顺序。
- PentestAgent - 黑盒测试框架，支持自主模式和多智能体模式，内置攻击剧本、Kali 执行和持久会话。
- PentestCode - OpenCode 的硬分叉，为攻击场景重建，在共享的渗透状态上协调一名主策略师和多个并行专家子代理，支持在关系图上搜索攻击路径，并保留持久会话。
- PentestGPT - 由大语言模型驱动的自动化渗透测试智能体框架。
- RedAmon - 端到端平台，在 Neo4j 攻击图上串联信息收集、利用和后渗透，然后对发现做分级、修补代码并提交 pull request。
- reverse-skill - 安全技能路由器，引导编码智能体走完可重复的逆向工程与渗透测试工作流，自带工具引导和证据追踪。最近一次 Tessl 评测 给它的主路由器打了 75/100（质量分 92%），但没有影响评估，安全扫描也未通过。SKILL.md。
- Shannon - 面向 Web 应用和 API 的 AI 渗透测试器，分析源码、找出攻击向量，再执行真实利用来证实发现。
- Strix - 开源 AI 渗透测试智能体，找出应用漏洞并协助修复。
- Transilience Community Tools - 26 个技能加 3 个工具集成，覆盖从侦察到报告的整个渗透测试生命周期，维护者公布的 CTF 基准成绩为 104/104。SKILL.md。
- Vulnerator AI - 自主 OODA 渗透测试智能体，由 Hermes（Nous Research）驱动，通过 MCP 服务器直接调用 Kali 工具。

模糊测试与漏洞发现

用模型找崩溃、生成补丁的测试框架。

- ChatAFL - 基于 AFLNet 的协议模糊测试器，向模型索取机器可读的语法、更丰富的种子消息，并在覆盖率停滞时索取新输入，发表于 NDSS 2024，打包为 ProfuzzBench 制品。
- Creation - 蚂蚁集团的测试框架，外加一个从 Qwen 3.8 后训练得到的 27B 模型，把求解智能体和由评审把关的提交级联拆开；在 CyberGym Level 1 的 1,507 个任务中，自报仅在 1,484 个任务的漏洞版本上触发崩溃。
- FirmAgent - 清华大学 VUL337 组的混合 IoT 固件流水线，把设备感知的 API 模糊测试器与 LLM 污点分析智能体配对，后者把到达危险点的发现转成概念验证利用，发表于 NDSS 2026。
- Fuzz4All - 通用模糊测试器，用模型做输入生成和变异引擎，并带自动提示步骤，按目标调整提示词，让一个工具覆盖多种输入语言，出自 ICSE 2024 论文。
- OSS-Fuzz-Gen - Google 的框架，用 LLM 在 C/C++、Java 和 Python 上生成并基准测试模糊测试目标。
- PromptFuzz - 模糊测试驱动生成器，在覆盖率引导的循环里变异提示词，探索复杂的 API 相互关系，在其测试的库上报告 40.12% 的分支覆盖率，是 OSS-Fuzz 的 1.61 倍，并确认 33 个安全漏洞，其中包含三个 CVE。
- QuartetFuzz - 智能体流水线，在质量门禁下生成 fuzz harness，门禁规则来自四条源码级原则，提交前还要过一轮对抗性验证；随项目发布一份 100 例 gold-harness 数据集，用来衡量生成的 harness。
- Ultrafuzz - Monad 的智能体编排器，面向智能合约 fuzzing 与威胁狩猎：在协议仓库上运行专用智能体，收集生成的 fuzz 测试与发现，集成 EVMBench，并发布了一套长期评测套件。

DARPA AIxCC 网络推理系统

DARPA AI Cyber Challenge 的七套决赛系统，每一套都能自主发现并修补真实开源代码中的漏洞，且都以竞赛快照形式发布。

- ARTIPHISHELL - Shellphish 的网络推理系统，随项目发布其组件、流水线、服务与完整部署栈。
- Atlantis - Team Atlanta 的网络推理系统，拿下决赛冠军。
- BugBuster - Team 42-b3yond-6ug 的网络推理系统，保留了运行所需的核心组件与部署配置。
- Buttercup - Trail of Bits 的网络推理系统，获得第二名，把 OSS-Fuzz fuzzing 活动与多智能体补丁器搭配使用。
- FuzzingBrain - Team all_you_need_is_a_fuzzing_brain 的系统，把覆盖率引导的 fuzzing 与智能体结合：智能体推理可疑点、构造漏洞证明，并对每个发现做动态验证。
- Lacrosse - SIFT 的多智能体网络推理系统，结合 fuzzing 与符号推理，在 C 和 Java 代码中查找并修补 bug。
- Robo Duck - Theori 的网络推理系统，获得第三名，以完整的决赛提交形式发布。

智能体工具与集成

把安全能力暴露给别人的智能体：MCP 服务器、反汇编器插件，以及覆盖面很广的技能库。它们提供 harness 调用的工具与方法论，本身不掌管智能体循环。

- Anthropic-Cybersecurity-Skills - 社区技能库，覆盖 29 个安全域、800+ 个技能，映射到 MITRE ATT&CK 与 NIST CSF；名字里带 Anthropic，但与 Anthropic 并无隶属关系。SKILL.md。
- Arkana - MCP 服务器，把 308 个二进制分析工具收进一条提示词，包括 angr 反编译、符号执行、数据依赖与控制依赖查询，还有签名引擎、模拟执行，以及带快照的交互式调试。
- Binary Ninja Headless MCP - 无头 Binary Ninja MCP 服务器，向智能体开放 180 个分析工具。
- Burp Suite MCP - PortSwigger 官方 MCP 服务器，把智能体接入 Burp Suite 的代理、扫描器和重放器。
- Claude Code CyberSecurity Skills - 十九个技能，覆盖攻击性安全、防御运营、逆向工程、威胁狩猎和 SOC 自动化。SKILL.md。
- DAILA - 与反编译器无关的插件，让你在反编译器里直接用 AI 辅助。
- Gepetto - IDA 插件，向语言模型提问，解释并重命名反编译出来的函数。
- HexStrike AI - MCP 服务器，给智能体一大套攻击性安全工具，用于侦察、扫描和利用。
- IDA Pro MCP - MCP 服务器，向编码智能体开放 IDA Pro 的反编译、交叉引用和类型推断。
- Lemmalog - 面向智能体记忆的 Datalog 引擎，支持带来源追踪的事实、增量推导，并提供 MCP 服务器；《Turning LLM Memory into Program Analysis》一文背后的实现就是它。
- LLM4Decompile - 开源模型与流水线，把二进制代码反编译成可读的 C。
- REA - 本地命令行与 MCP 分析工具，为已发布的二进制文件和 JavaScript/Electron 应用提供可溯源到源码的证据，另带一个 reverse-engineer-anything 技能；深度原生分析需要另行安装 Hopper、Ghidra 或 IDA。
- ReVa - Ghidra 扩展，提供 MCP 服务器，让智能体驱动逆向工程。

智能体沙箱

隔离运行智能体生成的代码和不可信目标。

- E2B - 沙箱化云环境，专为运行智能体生成的代码而建。
- Firecracker - AWS 的极简 microVM 监视器，运行不可信代码时常用的硬件隔离原语。
- gVisor - Google 的应用内核，拦截系统调用，无需完整虚拟机就能沙箱化不可信负载。
- Microsandbox - 本地优先的 microVM 运行时，用来执行不可信的智能体代码。
- Sandbox Runtime - Anthropic 的轻量工具，对智能体施加文件系统和网络限制。

基准测试与评估

任务集与标准答案，用来衡量一套 harness 是否真的管用。
- ADR - Uber 的智能体检测与响应系统，含一套基准测试，覆盖 133 个 MCP 服务器上的 300 多个智能体攻击任务。
- AIRTBench - Dreadnode 的基准测试，衡量自主 AI 红队能力。
- ARVO - 可复现开源漏洞图谱，用作打补丁智能体的真值。
- CVE-Bench - ICML 2025 spotlight 基准测试，收录 40 个真实世界关键 Web CVE，智能体须对 Docker 化目标产出八种具体攻击结果之一。
- CVE-GENIE - 波士顿大学的多智能体框架，从 CVE 条目重建漏洞环境并产出可验证的利用，复现了 841 个 CVE 中的 428 个，均为 2024-2025 年发布，平均每个花费 $2.77。
- Cybench - 在 40 个专业 CTF 任务上评估语言模型智能体的框架。
- CyberGym - Berkeley 的大规模基准测试，在真实世界漏洞复现上评估智能体。
- Ethereum Verification Benchmark - LFG Labs 与 Ethereum Foundation 的基准测试，含 263 个冻结任务，要求智能体给出经 Lean 检查的智能合约正确性证明，配有公开排行榜；v0.3 锁定 Lean 4.31，其参考证明依赖 native_decide，而它信任编译器。
- EVMBench - OpenAI 与 Paradigm 的基准测试，含 46 个带日期的真实世界审计，分检测、打补丁、利用三种模式，分别由 LLM 评审、Forge 测试和交易执行评分；智能体以配置形式接入。
- FuzzingBrain-Bench - 43 个 C、C++ 和 Java 项目中的 77 个真实零日漏洞，智能体只拿到模糊测试 harness 和漏洞源码，按触发的不同 sanitizer 崩溃离线、确定性地评分。
- HackSynth - 自主渗透测试智能体，随附两套 CTF 基准测试，共 200 道题，取自 PicoCTF 和 OverTheWire。
- Linux Privilege-Escalation Benchmark - hackingBuddyGPT 团队的可复现本地提权场景，用作其已发表智能体评估中的真值。
- NYU CTF Bench - NYU CTF 基准测试的 D-CIPHER 与基线智能体。
- scone-bench - Anthropic 的 417 任务基准测试，取材历史 DeFi 事件，智能体针对分叉链编写可用的利用，评分前评分器会重启 anvil；以冻结形式发布，不再维护。

延伸阅读

塑造这些 harness 构建方式的写作。标准与工具相同：看结果，不看观点。

- Accomplish：Beltdown，逃出 Claude Code 沙箱 - 讲一个嵌套的 .git/config 如何借 core.fsmonitor 在 Claude Code 的 Seatbelt 沙箱之外执行载荷，原因是 harness 自己运行 Git 命令时不走沙箱。2026 年 7 月报告，2.1.247 修复。
- 两届腾讯云黑客松之后：渗透测试智能体 harness 如何演进 - Cairn 作者的跨届复盘，中文写作。把每位决赛选手的设计读成三层：状态、动作、控制；并论证大量 harness 机制其实编码了对模型的不信任，随着模型变强，这些机制会变成累赘。全文以两届比赛的名册和结果为依据。
- 2026 年的 AI 渗透测试智能体 - 对 39 个开源渗透测试智能体的实地调查，归纳出六种架构模式，把八项基准汇总成一个结论：给出一段描述时，智能体能解出 87% 的一天期 CVE，但面对真实场景只有 13%；多智能体设计比单体设计强 4.3 倍。文章主张 star 数不是质量信号，同行评审过的基准才是。
- Anthropic：新兴多智能体系统中的模式与问题 - Anthropic 关于智能体之间协调失败与群体行为的研究，其中有一个漏洞发现实验：协调成群的智能体在 15 个开源项目里找到 266 个漏洞，而各自独立并行的智能体只找到 21 个。
- Booz Allen：网络武器指数 - 让 18 个美国和中国模型作为自主攻击者，去打一个生产级企业网络，用网络遥测验证结果。结论是今天只有一个模型能走完完整杀伤链，而大多数模型会在六个月内做到。
- Cairn：唯一通关腾讯云 AI 渗透测试挑战赛的团队复盘 - 作者单人的记述，中文写作。他用两个周末搭出黑板 harness，比赛日当天凌晨 4 点才第一次端到端跑通：在 Opus 和 GPT 上跑了五天，花了 7,692 元、10.9 亿 token；随着并发提高，单个 flag 的成本从第一天的 52 元涨到第三天的 284 元；最后靠一整夜手工读日志、注入人工提示，才清空黑板。文章反对按角色拆分智能体、反对 RAG、反对通用技能；这套 harness 只带一个技能，用来提交 flag。
- Cloudflare：打造你自己的漏洞扫描框架 - Cloudflare 如何把单个审计技能扩展成跨 128 个仓库的批量扫描器，用时六周：把状态外置到 SQLite 以支持断点续跑，每个智能体占用不超过其上下文窗口的 25%，一个模型负责搜寻、另一个模型负责评判，去重也交给专门的智能体。文中提到，单次技能运行发现的 bug 只有重复运行的一半左右。
- Cloudflare：防御前沿网络模型 - 当模型发现、串联并验证漏洞的速度快过团队打补丁的速度，Cloudflare 给出的防御架构：在签名规则之前先做 ML 攻击评分，用正向安全的 API schema 校验，以及一旦漏洞落地就至关重要的隔离层。这是与扫描框架系列文章对应的蓝队视角。
- Cloudflare：Project Glasswing，Mythos 让我们看到了什么 - Cloudflare 把一个前沿安全模型指向自家五十多个仓库后看到了什么，以及推动它走向扫描框架的四条经验：把每个任务的范围收得足够紧，让第二个智能体刻意与第一个唱反调，把「这有没有 bug」和「攻击者能否触达」分开问，先铺开再统一去重。文中提到，单个智能体会话在 10 万行的仓库里大约只能覆盖千分之一，之后压缩就开始丢弃发现。
- Google Chrome：每次更新都更强 - Chrome 如何把智能体铺到发现、分诊、修复和发布各环节，在两个里程碑里修掉 1,072 个安全 bug，还找到一个存活了 13 年的沙箱逃逸。
- Hackers or Hallucinators? A Comprehensive Analysis of LLM-Based Automated Penetration Testing - 首次对 LLM 自动化渗透测试框架做系统化梳理：13 个开源系统和两个基线在统一基准上对比，15 位以上研究者组成的小组历时四个月审阅了超过 100 亿 token 和 1,500 份执行日志，按智能体架构、规划、记忆、执行、外部知识和基准分类。
- OpenAI：The Defense Factory - OpenAI 的参考架构，覆盖持续盘点、发现、动态验证、归属和已验证修复的闭环，并给出冲刺数据：37% 的发现被去重，运行时验证后误报率 0.81%，100% 的补丁由 Codex 生成，回滚率 0.53%。
- Ramp：0 个人工，修掉 100 个漏洞 - Ramp 的检测器、对抗式管理器、验证器和修复器流水线，一周内发现并修复约 100 个潜在问题，其中管理器智能体驳回了 40% 的提案，而人工确认这些确实是误报。
- Reverser Space：真正起作用的是 Harness - 同一个模型、同一批 AgentRE-Bench 任务，两套 harness 对比：用 MCP 提供结构化分析工具后，130 次运行得分持平，报告的 token 减少 33%，分析调用减少 35%。
- Shopify：River，自主漏洞修复 - Shopify 的修复智能体原生跑在 Slack 里，动手前会先对照仓库 head、PR 状态和 tracker 重新校验补丁，上线头 11 天把依赖漏洞积压削减约 70%。
- 迈向网络安全超级智能：网络安全的最佳 Harness 是什么？ - 在 33 个网络安全挑战上评测五种智能体脚手架，发现没有哪套 harness 能通吃；用黑板架构把结构各异的脚手架组合起来，覆盖 57.6% 的问题，而最好的单个脚手架只有 45.5%。
- Trail of Bits：在（够用的）AI 时代做审计 - 评审开始前，智能体已经花了六个月为 Miden zkVM 搭建 LSP 服务器、反编译器、静态分析器和 Lean 模型，最终产出一处签名伪造问题和 95 条机器校验的证明。

- Turning LLM Memory into Program Analysis - Reframes long-running vulnerability research as a Datalog problem so the model handles fuzzy fact extraction while a database does deterministic reasoning and auto-invalidates conclusions when premises change, cutting context 38x and beating full-context prompting on adversarial memory benchmarks.