API 中继安全审计toby-bridges/api-relay-audit

API Relay 审计

针对 AI API 中继和 LLM 代理的本地安全审计。

DSH 插件

你的 Agent 属于我：你可以在本地测试什么

Your Agent Is Mine 记录了恶意 API
中继注入载荷并窃取凭据的行为。
Anthropic 于 2026 年 9 月 10 日发布的报告
描述了欺诈性的 Claude 转售商通过其客户端工具替换模型并收集凭据。在其
9 月 11 日的披露中，
合著者 Chaofan Shou 报告称购买了包含用户凭据的路由器数据。

API Relay Audit 是一款独立的、本地运行的 AI API 中继和 LLM 代理安全审计工具，
其灵感来源于该论文。当前版本会检查可观察到的中继行为，并生成一份 Markdown 报告，涵盖：

- 提示词与上下文信号： 隐藏的提示词注入、指令覆盖
以及上下文截断。
- 响应完整性： 对固定包命令文本的更改、错误响应
泄露以及 SSE 流异常。
- 可审查的发现： 每步证据以及 LOW / MEDIUM / HIGH 摘要；
不确定的探测结果仍会显示。

查看输出： 示例报告（合成夹具）
· 试用： 运行本地审计
· 覆盖范围与限制

该独立脚本使用 Python 标准库以及 curl。你的 API 密钥
仅会发送到你选择的中继 URL。

快速开始

AUDIT_SCRIPT_REF=v2.4.0
curl -fsSL "https://raw.githubusercontent.com/toby-bridges/api-relay-audit/${AUDIT_SCRIPT_REF}/audit.py" -o audit.py

python audit.py --key  --url  --output report.md

Web3 / wallet users
python audit.py --key  --url  --profile web3 --output report.md

查看一份可公开的安全夹具报告：已脱敏审计报告。
仅当有意测试未发布的变更时，才使用 master 作为 AUDIT_SCRIPT_REF。

如果 API Relay Audit 能帮助你在发送真实流量之前评估一个中转服务，请为仓库点星，以跟进新的检测器覆盖范围和经过发布测试的更新。

何时使用它

- 你使用第三方 AI API 中转、镜像、网关或 LLM 代理。
- 你想检查 Claude 兼容或 OpenAI 兼容的代理是否会注入提示词、替换模型、截断上下文或改写工具输出。
- 你在生产流量、编码代理自动化、软件包安装建议或钱包相关操作之前测试中转行为。
- 你需要一份本地、可重复的审计报告，而不是一个要求你提供 API 密钥的网页工具。

它不声称什么

- 它不证明某个中转是安全的。
- 它不能替代人工安全审查或运行监控。
- 它不会把 inconclusive 当作 clean；被阻止的探测和含糊的响应仍会保留在报告中可见。

查询族边界

| 查询族 | 用户意图 | 配置 / 步骤 | 证据边界 |
|---|---|---|---|
| API 中转审计 | 在信任流量之前审计第三方中转、镜像、网关、LLM 代理或转售 API。 | 默认 general；full 用于每个探测 | 生成一份本地报告，而非安全证书。 |
| 提示词注入审计 | 检测隐藏的提示词注入、提示词泄露、指令覆盖和提取行为。 | general；步骤 3-6 | 记录提示词证据，但不发布私有提示词或机密。 |
| 模型替换信号 | 收集模型身份、流式传输、延迟和上游通道信号。 | general；步骤 5、10、13、14 | 自报身份、延迟和通道指纹是信号，不是提供商替换的独立证据。 |
| Web3 中转审计 | 在代理工作流触及签名或交易之前，检查钱包敏感的中转行为。 | web3 或 full；步骤 11 | 受配置门控；一般中转审计并不意味着钱包安全。 |

规范契约位于 docs/query-families.md。README 标题、Pages 卡片、issue 模板和技能描述应保留这些边界，而不是将它们扁平化为一句口号。

覆盖范围

API Relay Audit 检查中转是否在你与模型之间修改了请求或响应路径：

- 提示词安全：令牌注入、提示词提取、指令覆盖、越狱抵抗
- 中转完整性：上下文截断、工具调用替换、错误泄露、流完整性
- 模型身份：非 Claude 身份泄露、模型替换信号、Claude/OpenAI 兼容中转行为
- Web3 钱包安全：转账指导、签名交易拒绝、私钥拒绝

在本地审计 LLM 代理

该项目有两种分发模式：

- audit.py：零依赖独立脚本，用于快速本地审计
- api_relay_audit/ 加 scripts/：带测试的模块化开发版本
运行时配置文件：

- general：默认的 AI API 中继和 LLM 代理检查
- web3：面向 Web3 代理流程的钱包安全探测
- full：general 加上 Web3 检查

DeepSeek Harness DSH 插件

该仓库同时也是一个可安装的 dsh-api-relay-audit 包，适用于
DeepSeek Harness Web 和
使用官方 @deepseek-ai/dsh-commands 注册表的社区 TUI 界面。请固定一个不可变的提交或发布标签：

DSH_PLUGIN_REF=v2.4.0
dsh plugin --profile web add "github:toby-bridges/api-relay-audit#${DSH_PLUGIN_REF}"

dsh-cc-tui and other compatible profile-based clients
dsh plugin --profile cc-tui add "github:toby-bridges/api-relay-audit#${DSH_PLUGIN_REF}"

该命令会复用当前 DSH 提供商的 baseURL、模型和凭据引用。凭据保留在 DSH Credentials 中，并通过环境变量传递给本地审计进程，绝不会通过命令行参数或会话日志传递：

/relay-audit
/relay-audit --connectivity
/relay-audit --profile web3 --fast-context
/relay-audit --url  --model  --credential-ref

不带参数会保留现有的完整审计默认行为，并可能消耗计费 token。使用 --connectivity 可进行成本更低的检查。此发行版不会新增模型基线：所选路由必须标识为 Claude，尽管中继 API 本身可以是 Anthropic 兼容或 OpenAI 兼容的。没有 DSH 配置文件和 DSH 命令注册表的独立封装与此包不兼容。参见 代理分发说明。
确切的 v2.4.0 安装、运行时和密钥扫描结果记录在
DSH 分发验证中。

保留的代理技能文件

该仓库保留了现有的 OpenClaw 和 Hermes 技能文件，以供直接用户和下游兼容性使用。它们不是当前的注册表分发目标；活跃的分发和发布验证聚焦于 DeepSeek Harness 插件。

- OpenClaw 技能： 在 OpenClaw 代理依赖第三方中继、代理 API 或转售密钥之前，运行本地 AI API 中继审计。
- Hermes 技能： 将 API Relay Audit 安装为 Hermes Agent 技能，并从代理工作流中运行相同的本地 14 步 LLM 代理安全审计。

这些文件并不证明中继是安全的。它们帮助代理在信任中继路径之前生成一份本地、可审查的 Markdown 报告。

证据边界

自然语言自我标识被视为一致性信号，而非上游证明。一个声称自己是 Qwen、DeepSeek、GPT 或 Claude 的响应可能表明存在不匹配，但它本身并不能证明提供商替换了上游模型。
更强的结论需要佐证证据，例如原始响应 JSON、请求 ID、提供商/模型元数据、流签名、透明日志哈希以及可复现的运行。公开提交应使用经过脱敏的报告产物，绝不能包含 API 密钥、原始标头、完整响应正文、钱包材料、私有中继流量或用户数据。

Web3 钱包安全检查

使用 --profile web3 或 --profile full 时，API Relay Audit 会添加受签名隔离风险启发的、面向钱包的提示注入探测：

- ETH 转账指导检查
- 已签名交易拒绝检查
- 私钥泄露拒绝检查

这些探测与模型无关，但它们被有意按配置文件进行门控，以便通用中继审计保持专注。

工作模型

your machine
-> audit.py / scripts/audit.py
-> chosen relay endpoint
-> Markdown report + optional hash-only transparent log
-> optional: redacted evidence issue for maintainer review

社区证据会由 GitHub Actions 进行形态检查，但发布仍需维护者审核。运营者保留单独的响应路径，敏感漏洞应归入 SECURITY.md 中描述的披露路径。

项目状态

| 指标 | 当前值 |
|---|---:|
| 版本 | v2.4 |
| 审计步骤 | 14 |
| 风险矩阵 | 6D |
| pytest 收集的测试数 | 808 |
| CLI 标志 | 22 |
| 运行时配置文件 | general、web3、full |

示例报告和在线页面

- GitHub Pages：toby-bridges.github.io/api-relay-audit
- 中文落地页：toby-bridges.github.io/api-relay-audit/zh/
- 示例报告：脱敏夹具报告
- 指南：
AI API 中继 / LLM 代理、
Claude 中继审计、
工具对比、
代理中的提示注入、
Web3 钱包提示注入、
DeepSeek Harness 插件
- 贡献者 / 致谢：CONTRIBUTORS.md
- 安全政策：SECURITY.md
- 贡献指南：CONTRIBUTING.md
- 社交：X @li9292

常见问题

什么是 API 中继或 LLM 代理？
API 中转或 LLM 代理是位于你和 Anthropic 或 OpenAI 等 AI 提供商之间的第三方服务。它会将你的请求转发到上游，但也可能注入隐藏指令、替换模型、截断上下文、重写工具输出，或在错误响应中泄露凭据。

输入我的 API 密钥安全吗？

API Relay Audit 在本地运行，因此你的 API 密钥只会发送到你指定的中转 URL。独立版本是一个零 Python 包依赖的单一 Python 文件，这使得在运行前更容易审查。

这里的提示注入是什么意思？

提示注入是指中转可能在你的请求中前置或插入隐藏指令。API Relay Audit 会比较预期和实际的 token 用量，尝试提示提取探针，并在中转似乎添加或泄露隐藏提示内容时记录证据。

什么是模型替换？

模型替换是指中转声称提供某个模型，但可能暴露另一个模型身份、路由或上游渠道的证据信号。API Relay Audit 会检查非 Claude 身份模式、锚点短语、流式模型身份、延迟差异以及可用时的渠道证据；在做出提供商层面的断言之前，这些信号需要相互印证。

什么是工具调用重写？

工具调用重写是指中转修改模型响应中的包安装命令或类工具输出。API Relay Audit 会发送固定包命令，并比较返回的文本，以检测代理层的供应链篡改。

什么是 SSE 异常？

SSE 异常是 Anthropic 风格流式响应中的流级完整性问题。当中转支持该格式时，API Relay Audit 会检查事件类型、用量单调性、thinking 签名和流式模型身份。

它会检查哪些 Web3 钱包风险？

使用 web3 或 full 配置文件时，API Relay Audit 会在信任钱包相关流量之前，检查转账指导、签名交易拒绝和私钥拒绝行为。

inconclusive 是什么意思？

Inconclusive 表示工具无法确定该步骤是干净结果还是异常结果。被阻止的探针、不支持的格式或含糊的响应不会被当作安全；它仍会显示在最终报告中。

这与 hvoy.ai 或 cctest.ai 相比如何？

它们满足不同的需求。hvoy.ai 适用于中转信誉查询，cctest.ai 侧重于一键测试和渠道指纹识别，而 API Relay Audit 侧重于本地、开源、可重复的安全审计，并生成结构化 Markdown 报告。

许可证

AGPL-3.0-only。参见 LICENSE。

这使修改后的网络服务部署与我们审计的中转生态系统证据一样，需遵循相同的公共源代码可用性标准。

引用
如果你在研究、安全报告或公开中转站评估中使用 API Relay Audit，请通过 CITATION.cff 引用该软件。该引用文件还记录了两篇为审计模型提供理论依据的学术论文：Liu 等人的 Your Agent Is Mine（arXiv:2604.08407）以及 Zhang 等人的 Real Money, Fake Models（arXiv:2603.01919）。

如何贡献

你不需要编写代码就能提供帮助。好的初次贡献应当是小型、可复现且以证据为核心的：

- 用经过脱敏处理的复现步骤报告检测器缺口。
- 分享关于安装、运行时、平台或报告用户体验问题的本地运行反馈。
- 为 profile、flag 或中转站行为添加文档示例。
- 根据真实的本地环境改进 DSH、OpenClaw 或 Hermes 的安装说明。
- 翻译快速开始，或澄清 clean、anomaly 和 inconclusive。

从以下内容开始：

- 本地运行反馈
- 检测器缺口
- 文档示例
- Agent Skill 反馈
- 社区证据指南
- CONTRIBUTING.md

避免发布真实的 API 密钥或私有中转站流量，并将改动范围限定在一个行为或一份文档内。

Star 历史

Star History Chart

中文 README

API Relay Audit 是什么？

api-relay-audit 是一个本地运行的 AI API 中转站 / LLM proxy 安全审计工具。它把 API relay audit、prompt injection audit、model substitution signals、Web3 relay audit 拆成独立查询意图，避免把不同风险压成一个口号；你的 API Key 只会发送到你指定的中转站 URL。

当你使用第三方 AI API 中转站、OpenAI-compatible proxy、Claude-compatible proxy，或者 Web3 agent 工作流时，可以用它在信任该中转站之前生成一份可复查的 Markdown 审计报告。

你会得到什么

- 一个本地运行的 14 步审计工具，输出结构化 Markdown 报告
- 双分发形态: audit.py 单文件零依赖版 + api_relay_audit/ 模块化开发版
- --profile general|web3|full 三种运行模式
- LOW / MEDIUM / HIGH 总结论，加每一步的细项结果

查询意图边界

| Query family | 用户意图 | Profile / Steps | 证据边界 |
|---|---|---|---|
| API relay audit | 审计第三方中转站、镜像、网关、LLM proxy 或 resale API。 | 默认 general；完整覆盖用 full | 输出本地报告，不是安全认证。 |
| Prompt injection audit | 检测隐藏 prompt 注入、prompt 泄漏、指令覆盖和提取行为。 | general；Step 3-6 | 记录 prompt 证据，但不公开私有 prompt 或 secret。 |
| Model substitution signals | 收集模型身份、stream、延迟和上游 channel 信号。 | general；Step 5、10、13、14 | self-ID、延迟和 channel fingerprint 是信号，不能单独证明 provider 替换。 |
| Web3 relay audit | 在 agent 接触签名、交易或钱包相关内容前检查中转行为。 | web3 或 full；Step 11 | profile-gated；普通 relay audit 不等于钱包安全。 |

正式契约在 docs/query-families.md。README、Pages、issue template 和 skill description 都应该保留这些边界。
30 秒快速开始

AUDIT_SCRIPT_REF=v2.4.0
curl -fsSL "https://raw.githubusercontent.com/toby-bridges/api-relay-audit/${AUDIT_SCRIPT_REF}/audit.py" -o audit.py

python audit.py --key  --url  --output report.md

Web3 / 钱包用户
python audit.py --key  --url  --profile web3 --output report.md

核心覆盖

- Prompt 安全：token injection、prompt extraction、instruction override、jailbreak
- Relay 完整性：context truncation、tool-call substitution、error leakage、stream integrity
- 模型身份：非 Claude 身份泄漏、模型替换信号、Claude / OpenAI 兼容中转行为
- Web3 风险：转账指引、签名拒绝、私钥泄漏拒绝

DeepSeek Harness DSH Plugin

本仓库同时提供 GitHub 可直装的 dsh-api-relay-audit bundle，支持官方 DSH
Web，以及使用 @deepseek-ai/dsh-commands registry 的社区 TUI。安装时必须固定
commit 或 release tag：

DSH_PLUGIN_REF=v2.4.0
dsh plugin --profile web add "github:toby-bridges/api-relay-audit#${DSH_PLUGIN_REF}"
dsh plugin --profile cc-tui add "github:toby-bridges/api-relay-audit#${DSH_PLUGIN_REF}"

插件默认复用当前 DSH provider 的 baseURL、model 和 credential reference；
真实 API Key 只从 DSH Credentials 解析，并通过子进程环境变量传递，不进入命令
参数或会话日志。

/relay-audit
/relay-audit --connectivity
/relay-audit --profile web3 --fast-context
/relay-audit --url  --model  --credential-ref

无参数运行现有完整审计，可能产生较高 token 消耗；低成本检查使用
--connectivity。插件不增加新的模型基线：中转接口可以兼容 Anthropic 或
OpenAI，但被审计线路必须明确为 Claude。没有 DSH profile/plugin 机制的独立
wrapper 不在兼容范围内。

保留的 Agent Skill 文件

仓库保留 OpenClaw 和 Hermes skill 文件，供已有直接用户和下游兼容使用；当前
registry 分发与 release 验证以 DeepSeek Harness plugin 为主。

- OpenClaw Skill： 在 OpenClaw agent 把 coding、tool 或钱包相关流量交给第三方 relay 前，先运行本地审计。
- Hermes Skill： 作为 Hermes Agent skill 安装，在 agent workflow 中运行同一套本地 14 步审计。

这些文件不代表 registry 已发布，也不给中转站颁发安全认证；它们只帮助 agent 在信任 relay 前生成本地、可复查的 Markdown 报告。

什么时候使用

- 你正在使用第三方 AI API 中转站、镜像、网关或 LLM proxy。
- 你想检查 Claude / OpenAI 兼容代理是否注入 prompt、替换模型、截断上下文或改写工具输出。
- 你准备把中转站用于生产流量、coding agent 自动化、包安装建议，或钱包相关操作。
- 你需要本地、可复现的审计报告，而不是把 API Key 输入到网页工具。

它不声称什么

- 它不为任何中转站颁发“安全认证”。
- 它不替代人工安全审查或线上监控。
- 它不会把 inconclusive 当成 clean；被拦截或无法判断的探针会保留在报告里。

证据边界

模型自然语言自称 Qwen、DeepSeek、GPT 或 Claude，只能作为 identity consistency signal，不能单独证明真实上游供应商或平台替换了模型。

更强的结论需要 raw response JSON、request id、provider/model metadata、stream signature、transparent-log hash 和可复现实验共同支撑。公开提交只接受脱敏报告证据；不要提交 API Key、raw headers、完整 response body、钱包材料、私有中转流量或用户数据。

工作方式

你的机器
-> audit.py / scripts/audit.py
-> 你指定的 relay endpoint
-> Markdown report + 可选 hash-only transparent log
-> 可选：脱敏 evidence issue，等待 maintainer review

社区证据会被 GitHub Actions 做格式检查，但公开发布仍需要 maintainer review。运营方回应走单独通道，敏感漏洞走 SECURITY.md 的 disclosure 路径。

项目状态

| 指标 | 当前值 |
|---|---:|
| 版本 | v2.4 |
| 审计步骤 | 14 |
| 风险矩阵 | 6D |
| pytest collected tests | 808 |
| CLI flags | 22 |
| Runtime profiles | general, web3, full |

如何贡献

你不需要写代码也能帮忙：可以提交本地运行反馈、检测缺口、文档示例、翻译改进，或 DSH plugin 安装反馈。保留的 OpenClaw / Hermes 集成反馈也会被接受。
- 本地运行反馈
- 检测器缺口
- 文档示例
- DSH 插件反馈
- 社区证据指南

请不要提交真实 API Key、私有中转站流量、钱包材料或未脱敏审计报告。

主要入口

- 在线页 / GitHub Pages: toby-bridges.github.io/api-relay-audit
- 中文独立页: toby-bridges.github.io/api-relay-audit/zh/
- 贡献者 / Credits: CONTRIBUTORS.md
- 安全政策: SECURITY.md
- 贡献指南: CONTRIBUTING.md
- 社交媒体: X @li9292