极速优选 DavidCarliez/dsh-fastcel

dsh-fastcel

DeepSeek Harness 插件，让每段 Vercel AI Gateway 对话都从该模型最快的服务商开始。这是 fastcel 的 harness 版本，原版是 Oh My Pi 插件。

fastcel 面板为 deepseek/deepseek-v4.1-flash-1017 的服务商排名，最快的排在最前，每个服务商配一条速度条

Vercel AI Gateway 通过多个服务商提供许多模型，速度差别很大。deepseek/deepseek-v4.1-flash-1017 有 22 个服务商。某个下午，最快的 subconscious 在过去一小时的中位吞吐量是每秒 394 token，测得最慢的 runinfra 只有 42。交给网关自己选，三个测试请求都发给了 baseten（175 tok/s）。用上 fastcel 后，同样的请求发给了 subconscious。

工作原理

fastcel 决定服务商的尝试顺序。对话停留在哪个服务商上、停留多久，由 Vercel 决定。

fastcel 给服务商排名

harness 每次向 ai-gateway.vercel.sh 发起模型调用，fastcel 都会附上该模型的服务商列表，最快的排在最前：

1. 从 GET /v1/models/{model}/endpoints 读取服务商统计数据。这是公开数据，与 vercel.com/ai-gateway/models 上模型页面展示的数字一致，不需要密钥。统计数据按模型缓存 15 分钟。缓存过期后，请求继续使用旧数据，同时在后台刷新。
2. 按过去一小时的中位吞吐量给服务商排序。以下情况会把服务商挪到列表末尾：已废弃；过去 15 分钟成功率低于 90%；请求带工具而该服务商不支持；上下文窗口小于对话长度。
3. 把列表作为 providerOptions.gateway.order 发送。第一个服务商失败时，网关按速度顺序回退到其余服务商。

fastcel 不在请求之间保留排名：每个请求都带上当时的最新排名。统计数据加载失败时，请求原样发出，由网关照常选择。

Vercel 让对话停留在一个服务商上

网关不会简单采用列表上的第一个服务商。它的会话亲和性默认开启，会记住哪家服务商回答了对话的上一条消息，并优先尝试它，从而保持提示词缓存温热。在一次会话中，具体表现如下：

1. 第一条消息。 还没有记住任何服务商，消息发给 fastcel 列表的顶部。
2. 后续消息。 它们留在该服务商上，即使 fastcel 的排名在此期间发生变化。
3. 暂停或失败之后。 对话空闲时间超过服务商的缓存有效期，Vercel 就会忘掉这个服务商：多数服务商约 5 分钟，OpenAI 和 Azure 是 10 分钟，DeepSeek 自家 API 是 1 小时。服务商请求失败时，Vercel 也会忘掉它。下一条消息发给当时最快的服务商，对话就留在那里。

新会话或子代理算作新对话，开始时落在当时最快的服务商上。

如何接入 harness

harness 的 pi-ai 适配器自己构建网关请求，没有提供修改请求体的钩子，所以 fastcel 分两层工作：

- llm/stream 监听器把每次模型调用包进一个请求作用域，作用域知道会话，也知道上一次调用后对话里有多少 token。
- 进程 fetch 上的钩子只在请求来自这种作用域、是 POST 到 https://ai-gateway.vercel.sh 的推理端点（/v1/messages、/v1/chat/completions 或 /v1/responses）、且 JSON 请求体指定了模型时才改动请求。它加上顺序，发出请求，并在回复流式返回时原样读取网关的路由记录。

进程里其他请求一律原样转发。停用插件即移除钩子。

细节

- 请求里已有的路由优先。 请求体已带 providerOptions.gateway.order 或 .only 的，原样发出。
- 你的账号会跳过部分服务商。 Vercel 对某些模型把部分服务商标为 plan_not_eligible。网关随后直接尝试列表里的下一个服务商，不试被跳过的那个。
- 为什么不用 sort: "tps"。 网关自己可以按吞吐量给服务商排序，但测试 fastcel 时多数服务商在该排序里没有值，结果快的排在慢的后面；见 fastcel 的说明。fastcel 改用端点统计数据排序。

安装

要求： DeepSeek Harness 0.2.1-rc.2（已测试，web 配置档）、Node.js 22+，以及 harness 的 pi-ai 适配器上有 vercel-ai-gateway 路由，例如写在配置档的 cordis.patch.yml 里：

- id: llm-pi-ai
name: "@deepseek-ai/dsh-llm-pi-ai"
config:
providers:
vercel-ai-gateway:
apiKeyEnv: VERCEL_AI_GATEWAY_API_KEY
models:
- id: deepseek/deepseek-v4.1-flash-1017
- id: openai/gpt-oss-120b

任何端点指向 https://ai-gateway.vercel.sh 的 pi-ai 路由都行；fastcel 靠每个请求发往的主机识别网关，不看路由名。

在本仓库里运行：

npm ci
npm run build
dsh plugin --profile web add "link:$PWD"

然后重启 harness。只在没有回复正在生成时安装、重启或移除插件。移除时运行 dsh plugin --profile web remove dsh-fastcel 并重启。

使用

任选一个 Vercel AI Gateway 模型。fastcel 会显示它当前排名的头部、服务商和速度，前面带一个 ⚡：

⚡ subconscious · 394 tok/s

它位于会话的输入框下方；在 New Session 页面，它位于输入框上方的选项行里。选中的模型不经过 gateway 时，它隐藏不显示。

模型的厂商用自己的 API 提供该模型时，这个服务商就带厂商的名字，面板会把它标为 first-party，选项显示为 deepseek (first-party) · 191 tok/s。这指的是 DeepSeek 自己的 API，不是 DeepSeek 模型。

更早开始的对话仍可能落在别的服务商上，原因如上。面板显示最后一条回复实际去了哪里。

| 命令 | 效果 |
| /fastcel | 打开面板，显示会话所用模型的排名。在 web 客户端之外，它以文本形式打印同一张表。 |
| /fastcel <model> | 以表格形式打印任意 gateway 模型的排名，例如 /fastcel zai/glm-5.1。 |
| /fastcel refresh | 丢弃缓存的统计数据，重新拉取，并打印会话模型的排名。 |

点击这个选项会打开同一个面板。面板列出该模型的服务商，最快的排前面，并给出每个服务商的速度、首 token 时间和过去 15 分钟的正常运行时间。一条注释标出 first-party 服务商，并说明某个服务商为什么被排到后面。表格下方有一行说明会话最后一条回复由哪个服务商提供，以及 Vercel 的会话亲和性做了什么。面板打开期间，它会跟随回复的完成情况更新。在手机上，首 token 时间和正常运行时间两列会省略。

served-by 这一行来自 gateway 在每条回复末尾附上的路由记录，所以不需要额外请求，也不需要 key。fastcel 把它保存在内存里，只覆盖最近的会话；重启 harness 就会清空。

开发

npm ci
npm test
npm run build
npm run check:package

测试会在模拟网络上启动真实的 LLM 运行时和 pi-ai 适配器，因此检查的是 Anthropic SDK 实际发出的请求，不会调用云端。check:package 从干净的检出打包插件，并加载它的 host 和 client 入口。CI 在 Node.js 22 和 24 上运行这三项。

src/ranking.js 给服务商排序，src/stats.js 拉取并缓存端点统计数据，src/router.js 和 src/gateway.js 修改 gateway 请求并读取它的路由记录，src/fastcel.js 保存每个会话的状态并生成报告，src/server.js 把它们接入 harness，src/client.jsx 绘制选项和面板。

改动源码后要重新构建。客户端改动在页面重新加载后生效；host 改动需要重启 harness。

许可证

MIT