API 中继安全审计 toby-bridges/api-relay-audit

API Relay Audit

面向 AI API 中转与 LLM 代理的本地安全审计。

DSH 插件

你的智能体归我管：本地能测什么

Your Agent Is Mine 记录了恶意 API 中转注入载荷、窃取凭据的手法。
Anthropic 2026 年 9 月 10 日的报告 描述了欺诈性的 Claude 转售商如何偷换模型，并借客户端工具窃取凭据。共同作者 Chaofan Shou 在 9 月 11 日的披露中提到，他买到的路由数据里含有用户的凭据。

API Relay Audit 是一款独立、本地运行的安全审计工具，面向 AI API 中转与 LLM 代理，思路来自上述论文。当前版本检查中转可观测的行为，并生成 Markdown 报告，覆盖：

- 提示词与上下文信号： 隐藏的提示词注入、指令覆盖、上下文截断。
- 响应完整性： 固定包命令文本被改动、错误响应泄露、SSE 流异常。
- 可复核的发现： 每一步的证据，以及 LOW / MEDIUM / HIGH 汇总；无法定论的探测仍会保留展示。

看输出效果： 示例报告（合成样本）
· 动手试试： 跑一次本地审计
· 覆盖范围与局限

独立脚本只依赖 Python 标准库和 curl。你的 API key 只会发给你选定的中转 URL。

快速开始

AUDIT_SCRIPT_REF=v2.5.0
curl -fsSL "https://raw.githubusercontent.com/toby-bridges/api-relay-audit/${AUDIT_SCRIPT_REF}/audit.py" -o audit.py

python audit.py --key <YOUR_KEY> --url <BASE_URL> --output report.md

Web3 / wallet users
python audit.py --key <YOUR_KEY> --url <BASE_URL> --profile web3 --output report.md

看一份可公开的样本报告：脱敏审计报告。
固定到 v2.5.0 的下载需要已发布的 tag；只有草稿 release 不能保证可下载。只有当你刻意测试未发布的改动时，才把 master 用作 AUDIT_SCRIPT_REF。

如果 API Relay Audit 帮你在发送真实流量前评估中转服务，欢迎 给仓库点星，跟进新增的检测覆盖和经过 release 测试的更新。

JSON 报告

v2.5.0 支持 --format json，用于本地自动化：

python audit.py --key-env API_RELAY_AUDIT_KEY --url <BASE_URL> --format json --output report.json

不加 --output 时，stdout 只输出一份 JSON 文档，进度信息写入 stderr。JSON 保留现有的最终风险评级和完整的 Markdown 证据；它不会对报告做脱敏处理，不适合直接公开分享。参见 JSON schema 与覆盖边界。

适用场景

- 你在用第三方 AI API 中转、镜像、网关或 LLM 代理。
- 你想检查 Claude 兼容或 OpenAI 兼容的代理是否注入提示词、替换模型、截断上下文、改写工具输出。
- 你在生产流量、编码智能体自动化、包安装建议或钱包相关操作之前，测试中转行为。
- 你需要本地可重复的审计报告，而不是一个要你交出 API key 的网页工具。

不做哪些承诺

- 它不认证中转服务是安全的。
- 它不替代人工安全审查或运行监控。
- 它不把 inconclusive 当作 clean；被拦截的探测和含糊的响应都会留在报告里。

查询族边界

| 查询族 | 用户意图 | 配置档 / 步骤 | 证据边界 |
| API 中转审计 | 在信任流量之前，审计第三方中转、镜像、网关、LLM 代理或转售 API。 | 默认 general；full 跑全部探测 | 产出本地报告，不是安全证书。 |
| 提示词注入审计 | 检测隐藏的提示词注入、提示词泄漏、指令覆盖和提取行为。 | general；步骤 3-6 | 记录提示词证据，但不公开私有提示词或密钥。 |
| 模型替换信号 | 收集模型身份、流式、延迟和上游通道信号。 | general；步骤 5、10、13、14 | 自报身份、延迟和通道指纹只是信号，不能单独证明服务商被替换。 |
| Web3 中转审计 | 在智能体工作流接触签名或交易之前，检查对钱包敏感的中转行为。 | web3 或 full；步骤 11 | 受配置档限制；普通中转审计不代表钱包安全。 |

正式约定见 docs/query-families.md。README 标题、Pages 卡片、issue 模板和技能描述都应保留这些边界，不要把它们压成一句口号。

覆盖范围

API Relay Audit 检查中转是否在你和模型之间改动了请求或响应路径：
- 提示词安全：token 注入、提示词提取、指令覆盖、抗越狱
- 中继完整性：上下文截断、工具调用替换、错误泄漏、流完整性
- 模型身份：非 Claude 身份泄漏、模型替换信号、Claude/OpenAI 兼容中继行为
- Web3 钱包安全：转账引导、拒绝签名交易、拒绝私钥

在本地审计 LLM 代理

项目有两种分发模式：

- audit.py：零依赖独立脚本，用于快速本地审计
- api_relay_audit/ 加 scripts/：模块化开发版，带测试

运行时配置档：

- general：默认的 AI API 中继与 LLM 代理检查
- web3：面向 Web3 智能体流程的钱包安全探测
- full：general 加 Web3 检查

DeepSeek Harness DSH 插件

本仓库同时是可安装的 dsh-api-relay-audit 包，面向 DeepSeek Harness 的 Web 与社区 TUI 界面，这些界面使用官方 @deepseek-ai/dsh-commands 注册表。请固定到不可变的 commit 或 release tag：

DSH_PLUGIN_REF=v2.5.0
dsh plugin --profile web add "github:toby-bridges/api-relay-audit#${DSH_PLUGIN_REF}"

dsh-cc-tui and other compatible profile-based clients
dsh plugin --profile cc-tui add "github:toby-bridges/api-relay-audit#${DSH_PLUGIN_REF}"

该命令复用当前 DSH 服务商的 baseURL、模型和凭据引用。凭据留在 DSH Credentials 中，通过环境变量传给本地审计进程，因此不会进入插件命令输入、审计进程参数和会话日志：

/relay-audit
/relay-audit --connectivity
/relay-audit --profile web3 --fast-context
/relay-audit --url <URL> --model <claude-model> --credential-ref <DSH_CREDENTIAL_REF>

不带参数时保留原有的完整审计默认行为，可能消耗计费 token。想降低成本就用 --connectivity。本分发不新增模型基线：所选路由必须标识为 Claude，但中继 API 本身可以是 Anthropic 兼容或 OpenAI 兼容。
旧版 v2.4.0 在错误探测和流式回退时会把密钥放进 curl 进程参数。v2.5.0 改为通过 curl config stdin 传递这些请求头。如果你仍在运行 v2.4.0，请把本地进程列表视为敏感信息。
没有 DSH 配置档和 DSH 命令注册表的独立封装与本包不兼容。参见 智能体分发说明。
v2.4.0 的安装、运行时和密钥扫描结果记录在 DSH 分发验证。
更新后的宿主矩阵和验证限制见 v2.5.0 发布说明。

注册表分发正在准备中，包含真实 tarball 和 Windows 验收检查。这不代表已发布到 npm；参见 npm 打包准备与审批门禁。

保留的智能体技能文件

仓库保留了现有的 OpenClaw 和 Hermes 技能文件，供直接用户使用，也为了下游兼容。它们不是当前注册表分发的目标；当前的分发与发布验证聚焦于 DeepSeek Harness 插件。

- OpenClaw 技能： 在 OpenClaw 智能体依赖第三方中转、代理 API 或转售密钥之前，先跑一遍本地 AI API 中转审计。
- Hermes 技能： 把 API Relay Audit 安装为 Hermes Agent 技能，在智能体工作流里跑同一套本地 14 步 LLM 代理安全审计。

这些文件并不能证明某个中转是安全的。它们帮智能体在信任某条中转链路之前，先生成一份本地、可复核的 Markdown 报告。

证据边界

自然语言自报身份只当作一致性信号，不算上游证据。回复里说自己是 Qwen、DeepSeek、GPT 或 Claude，可能说明存在不匹配，但单凭这一点不能证明服务商替换了上游模型。

更强的结论需要旁证，比如原始响应 JSON、请求 ID、服务商/模型元数据、流签名、透明日志哈希，以及可复现的运行。公开提交应使用脱敏后的报告产物，绝不能包含 API 密钥、原始请求头、完整响应体、钱包材料、私有中转流量或用户数据。

Web3 钱包安全检查

使用 --profile web3 或 --profile full 时，API Relay Audit 会加入面向钱包的提示词注入探测，灵感来自签名隔离风险：

- ETH 转账指引检查
- 签名交易拒绝检查
- 私钥泄露拒绝检查

这些探测与模型无关，但有意用配置档门控，让通用中转审计保持聚焦。

工作模型

your machine
-> audit.py / scripts/audit.py
-> chosen relay endpoint
-> Markdown report + optional hash-only transparent log
-> optional: redacted evidence issue for maintainer review

社区证据由 GitHub Actions 做形状校验，但发布仍需维护者审核。运营方保留独立的响应通道，敏感漏洞走 SECURITY.md 里描述的披露通道。

项目状态

| 指标 | 当前值 |
| 版本 | v2.5.0 |
| 审计步骤 | 14 |
| 风险矩阵 | 6D |
| pytest 收集的测试数 | 885 |
| 命令行参数 | 23 |
| 运行时配置档 | general、web3、full |

示例报告与在线页面

- 网站：apirelayaudit.com
- 中文落地页：apirelayaudit.com/zh/
- 示例报告：脱敏样例报告
- 指南： AI API 中转 / LLM 代理、 Claude 中转审计、工具对比、代理中的提示词注入、 Web3 钱包提示词注入、 DeepSeek Harness 插件
- 贡献者 / 致谢：CONTRIBUTORS.md
- 安全策略：SECURITY.md
- 贡献指南：CONTRIBUTING.md
- 社交：X @li9292

常见问题

什么是 API 中转或 LLM 代理？

API 中转或 LLM 代理是第三方服务，位于你和 AI 服务商（如 Anthropic 或 OpenAI）之间。它把你的请求转发到上游，但也能注入隐藏指令、替换模型、截断上下文、改写工具输出，或在错误响应里泄露凭据。

输入我的 API key 安全吗？

API Relay Audit 在本地运行，所以你的 API key 只会发到你指定的中转 URL。独立版本是单个 Python 文件，不依赖任何 Python 包，运行前更容易审查。

这里的提示词注入指什么？

提示词注入指中转可能在你的请求前面加上或插入隐藏指令。API Relay Audit 对比预期与实际 token 用量，尝试提示词提取探针，并在中转似乎添加或泄露隐藏提示词内容时记录证据。

什么是模型替换？

模型替换指中转声称提供某个模型，却可能暴露出另一个模型身份、路由或上游渠道的证据信号。API Relay Audit 检查非 Claude 身份特征、锚点短语、流式模型身份、延迟波动，以及可获取的渠道证据；这些信号需要相互印证，才能对服务商层面下结论。

什么是工具调用改写？

工具调用改写指中转修改模型响应里的包安装命令或类似工具的输出。API Relay Audit 发送固定版本的包命令，对比返回文本，检测代理层的供应链篡改。

什么是 SSE 异常？

SSE 异常是 Anthropic 风格流式响应里的流级完整性问题。当中转支持该格式时，API Relay Audit 检查事件类型、usage 单调性、thinking 签名和流式模型身份。

它会检查哪些 Web3 钱包风险？

使用 web3 或 full 配置档时，API Relay Audit 会在信任钱包相关流量之前，检查转账指引、拒绝签署交易、拒绝提供私钥这几类行为。

inconclusive 是什么意思？

Inconclusive 表示工具无法判断该步骤的结果是干净还是异常。探针被拦截、格式不支持、响应含糊，都不算作安全；这些情况会保留在最终报告里。

和 hvoy.ai、cctest.ai 有什么区别？

三者服务不同需求。hvoy.ai 适合查中转站信誉，cctest.ai 专注一键测试和渠道指纹，API Relay Audit 专注本地、开源、可重复的安全审计，输出结构化 Markdown 报告。

许可证

AGPL-3.0-only。见 LICENSE。

这样，修改过的网络服务部署也要遵守同一套公开源码可用性标准，和我们审计的中转站生态证据一致。

参考资料与引用

核心研究资料列在 docs/references.md。如果你在研究、安全报告或公开中转站评估中使用 API Relay Audit，请按 CITATION.cff 引用本软件。

如何贡献

不写代码也能帮忙。好的初次贡献往往很小、可复现、以证据为中心：

- 报告检测器缺口，附上脱敏后的复现步骤。
- 分享本地运行反馈，包括安装、运行时、平台或报告体验问题。
- 为配置档、参数或中转站行为补充文档示例。
- 根据真实本地环境，改进 DSH、OpenClaw 或 Hermes 的安装说明。
- 翻译快速开始，或把 clean、anomaly、inconclusive 解释清楚。

从这里开始：

- 本地运行反馈
- 检测器缺口
- 文档示例
- 智能体技能反馈
- 社区证据指南
- CONTRIBUTING.md

不要公开真实 API Key 或私密中转站流量，改动范围控制在一个行为或一篇文档内。

Star 历史

中文 README

API Relay Audit 是什么？

api-relay-audit 是一个本地运行的 AI API 中转站 / LLM proxy 安全审计工具。它把 API relay audit、prompt injection audit、model substitution signals、Web3 relay audit 拆成独立查询意图，避免把不同风险压成一个口号；你的 API Key 只会发送到你指定的中转站 URL。

当你使用第三方 AI API 中转站、OpenAI-compatible proxy、Claude-compatible proxy，或者 Web3 agent 工作流时，可以用它在信任该中转站之前生成一份可复查的 Markdown 审计报告。

你会得到什么

- 一个本地运行的 14 步审计工具，输出结构化 Markdown 报告
- 双分发形态: audit.py 单文件零依赖版 + api_relay_audit/ 模块化开发版
- --profile general|web3|full 三种运行模式
- LOW / MEDIUM / HIGH 总结论，加每一步的细项结果

查询意图边界

| Query family | 用户意图 | Profile / Steps | 证据边界 |
| API relay audit | 审计第三方中转站、镜像、网关、LLM proxy 或 resale API。 | 默认 general；完整覆盖用 full | 输出本地报告，不是安全认证。 |
| Prompt 注入审计 | 检测隐藏的 prompt 注入、prompt 泄漏、指令覆盖和提取行为。 | general；Step 3-6 | 记录 prompt 证据，但不公开私有 prompt 或 secret。 |
| 模型替换信号 | 收集模型身份、stream、延迟和上游 channel 信号。 | general；Step 5、10、13、14 | self-ID、延迟和 channel fingerprint 是信号，不能单独证明 provider 替换。 |
| Web3 中转审计 | 在 agent 接触签名、交易或钱包相关内容前检查中转行为。 | web3 或 full；Step 11 | profile-gated；普通 relay audit 不等于钱包安全。 |

正式契约在 docs/query-families.md。README、Pages、issue template 和 skill description 都应该保留这些边界。

30 秒快速开始

AUDIT_SCRIPT_REF=v2.5.0
curl -fsSL "https://raw.githubusercontent.com/toby-bridges/api-relay-audit/${AUDIT_SCRIPT_REF}/audit.py" -o audit.py

python audit.py --key <YOUR_KEY> --url <BASE_URL> --output report.md

Web3 / 钱包用户
python audit.py --key <YOUR_KEY> --url <BASE_URL> --profile web3 --output report.md

v2.5.0 新增 --format json，适用于本地自动化；默认仍输出 Markdown。
JSON 包含完整证据，并非公开分享前已脱敏的报告。参见 JSON 契约。
固定版本下载需要正式发布的 tag；草稿 release 本身不能证明下载可用。

核心覆盖

- Prompt 安全: token injection、prompt extraction、instruction override、jailbreak
- 中转完整性: context truncation、tool-call substitution、error leakage、stream integrity
- 模型身份: 非 Claude 身份泄漏、模型替换信号、Claude / OpenAI 兼容中转行为
- Web3 风险: 转账指引、签名拒绝、私钥泄漏拒绝

DeepSeek Harness DSH Plugin

本仓库同时提供 GitHub 可直装的 dsh-api-relay-audit bundle，支持官方 DSH Web，以及使用 @deepseek-ai/dsh-commands registry 的社区 TUI。安装时必须固定 commit 或 release tag：

DSH_PLUGIN_REF=v2.5.0
dsh plugin --profile web add "github:toby-bridges/api-relay-audit#${DSH_PLUGIN_REF}"
dsh plugin --profile cc-tui add "github:toby-bridges/api-relay-audit#${DSH_PLUGIN_REF}"

插件默认复用当前 DSH provider 的 baseURL、model 和 credential reference；真实 API Key 只从 DSH Credentials 解析，通过环境变量传给审计进程，不进入插件命令输入、审计进程参数或会话日志。

/relay-audit
/relay-audit --connectivity
/relay-audit --profile web3 --fast-context
/relay-audit --url <URL> --model <claude-model> --credential-ref <DSH_CREDENTIAL_REF>

无参数运行现有完整审计，可能产生较高 token 消耗；低成本检查使用 --connectivity。插件不增加新的模型基线：中转接口可以兼容 Anthropic 或 OpenAI，但被审计线路必须明确为 Claude。没有 DSH profile/plugin 机制的独立 wrapper 不在兼容范围内。
旧版 v2.4.0 的错误探针和流式 curl 请求可能短暂把 Key 放进 curl 进程参数； v2.5.0 改为经 curl 配置标准输入传递这些请求头。仍使用旧版时，应把本机进程列表视为敏感信息。

npm 分发准备与 Windows 验收见分发说明。
准备完成不代表 npm 已发布；公开安装入口须在发布批准和 registry 核验后更新。

保留的 Agent Skill 文件

仓库保留 OpenClaw 和 Hermes skill 文件，供已有直接用户和下游兼容使用；当前 registry 分发与 release 验证以 DeepSeek Harness plugin 为主。

- OpenClaw Skill: 在 OpenClaw agent 把 coding、tool 或钱包相关流量交给第三方 relay 前，先运行本地审计。
- Hermes Skill: 作为 Hermes Agent skill 安装，在 agent workflow 中运行同一套本地 14 步审计。

这些文件不代表 registry 已发布，也不给中转站颁发安全认证；它们只帮助 agent 在信任 relay 前生成本地、可复查的 Markdown 报告。

什么时候使用

- 你正在使用第三方 AI API 中转站、镜像、网关或 LLM proxy。
- 你想检查 Claude / OpenAI 兼容代理是否注入 prompt、替换模型、截断上下文或改写工具输出。
- 你准备把中转站用于生产流量、coding agent 自动化、包安装建议，或钱包相关操作。
- 你需要本地、可复现的审计报告，而不是把 API Key 输入到网页工具。

它不声称什么

- 它不为任何中转站颁发“安全认证”。
- 它不替代人工安全审查或线上监控。
- 它不会把 inconclusive 当成 clean；被拦截或无法判断的探针会保留在报告里。

证据边界

模型用自然语言自称 Qwen、DeepSeek、GPT 或 Claude，只能作为 identity consistency signal，不能单独证明真实上游服务商，也不能证明平台替换了模型。

要下更强的结论，需要 raw response JSON、request id、provider/model metadata、stream signature、transparent-log hash 和可复现实验共同支撑。公开提交只接受脱敏报告证据；不要提交 API Key、raw headers、完整 response body、钱包材料、私有中转流量或用户数据。

工作方式

你的机器 -> audit.py / scripts/audit.py -> 你指定的 relay endpoint -> Markdown report + 可选 hash-only transparent log -> 可选：脱敏 evidence issue，等待 maintainer review

社区证据会由 GitHub Actions 做格式检查，但公开发布仍需 maintainer review。运营方回应走单独通道，敏感漏洞走 SECURITY.md 的 disclosure 路径。

项目状态

| 指标 | 当前值 |
| 版本 | v2.5.0 |
| 审计步骤 | 14 |
| 风险矩阵 | 6D |
| pytest collected tests | 885 |
| CLI flags | 23 |
| Runtime profiles | general, web3, full |

如何贡献

不写代码也能帮忙：可以提交本地运行反馈、检测缺口、文档示例、翻译改进，或 DSH 插件安装反馈。保留的 OpenClaw / Hermes 集成反馈也会被接受。

- Local Run Feedback
- Detector Gap
- Documentation Example
- DSH Plugin Feedback
- Community Evidence Guide

请不要提交真实 API Key、私有中转站流量、钱包材料或未脱敏审计报告。

主要入口

- 在线页: apirelayaudit.com
- 中文独立页: apirelayaudit.com/zh/
- 贡献者 / Credits: CONTRIBUTORS.md
- 安全政策: SECURITY.md
- 贡献指南: CONTRIBUTING.md
- 社交媒体: X @li9292

网站源码：apirelayaudit-site。
工具代码、报告 fixtures 和公开证据登记表 仍保留在本仓库。