BitDG/dsh-cloud-model-providers

description: "把蚂蚁数科 MaaS 与 NVIDIA NIM 流式模型路由安装进 DeepSeek Harness profile，不增加额外 HTTP 代理。"
kind: "package-bundle"

dsh-cloud-model-providers

用途：接入蚂蚁数科 MaaS Responses/Chat 与 NVIDIA NIM 流式模型路由，密钥继续由 DSH 管理。

概要

这个 bundle 为基于 dsh-base 的 DeepSeek Harness profile 添加蚂蚁数科 MaaS 与 NVIDIA NIM 模型路由。它复用 DSH 已经交付的 llm-pi-ai 适配器，因此 Chat Completions、Responses、SSE 流式输出、工具调用、usage、取消和凭据处理继续走 DSH 的维护路径。这个包只包含声明式 profile patch：从 GitHub 安装时不执行包构建脚本，也不保存 API key。

目录

- 使用这个包
- Provider 路由
- 验证流式输出
- 理解实现
- 延伸阅读
- 模型体验
- 已知限制与延期工作
- 开发备注

使用这个包

把 bundle 安装进现有的 web 或 headless profile，通过 DSH 或启动环境提供凭据，然后选择新增路由。

安装进 profile

dsh plugin --profile web add github:BitDG/dsh-cloud-model-providers

这条命令安装本仓库并激活它声明的 cordis.patch.yml 层。使用下面的命令同时移除配置层和依赖：

dsh plugin --profile web remove dsh-cloud-model-providers

这个 bundle 要求 profile 基于 dsh-base，因为它会替换 @deepseek-ai/dsh-base 提供的休眠 llm-pi-ai 配置行。不启动应用即可确认配置层：

dsh --profile web --dump-config

输出会在配置后的 llm-pi-ai 行上方包含 # == @deepseek-ai/dsh-base, patched by dsh-cloud-model-providers。

提供凭据

可以使用 Web 的 Models 设置页保存凭据，也可以在启动 DSH 前导出 bundle 使用的凭据引用：

export MAAS_API_KEY='replace-with-your-key'
export NVIDIA_API_KEY='replace-with-your-key'

PowerShell 使用 $env:MAAS_API_KEY 和 $env:NVIDIA_API_KEY。不要把任何密钥写进 cordis.patch.yml、Git、日志、截图或 issue。

选择模型

Bundle 加载后，Web Models 页面会显示三个 provider 路由。Headless profile 可以在自己的后置 cordis.patch.yml 层中选择默认模型：

- id: agent-default-model
config:
provider: ant-maas-responses
model: lingdt-3.0-flash

同一配置行也可以选择 ant-maas-chat/qwen3.6-plus 或 nvidia 目录中的模型。

Provider 路由

| 路由 | 协议 | 端点 | 凭据 | 初始模型来源 |
|---|---|---|---|---|
| ant-maas-responses | 基于 SSE 的 OpenAI Responses | https://maas-api.antdigital.com/v1/responses | MAAS_API_KEY | lingdt-3.0-flash |
| ant-maas-chat | 基于 SSE 的 OpenAI Chat Completions | https://maas-api.antdigital.com/v1/chat/completions | MAAS_API_KEY | qwen3.6-plus |
| nvidia | 由目录定义的 OpenAI Chat Completions over SSE | https://integrate.api.nvidia.com/v1/chat/completions | NVIDIA_API_KEY | 已安装 pi-ai 的 NVIDIA 目录 |

MaaS 按模型分配协议支持。把文档明确支持 Responses 的模型放在 ant-maas-responses，把 Chat Completions 模型放在 ant-maas-chat；同一个 DSH provider 路由不能在每次请求时切换 wire protocol。Models 页面可以查询 OpenAI 兼容的 /v1/models 端点，但发现模型不能证明每个返回模型都支持 Responses、工具、图片或推理控制。

NVIDIA 路由从已安装 DSH 版本中的 pi-ai 目录继承端点细节、模型元数据、兼容性开关和必需 header。这个 bundle 只覆盖显示名称、凭据引用和显式 SSE transport。

验证流式输出

无密钥测试会启动本地 data-only SSE 端点，并让三个路由经过已发布的 DSH LlmRuntime 与 llm-pi-ai 适配器。测试会验证请求路径、stream: true、Bearer 认证、增量文本、usage 和终止事件顺序。

pnpm install
pnpm test
pnpm run typecheck

真实接口测试单独执行，因为每个请求都会使用平台额度。缺少某个平台凭据时，该平台测试会跳过；在线模型目录变化时，可以覆盖模型：

MAAS_API_KEY='...' NVIDIA_API_KEY='...' pnpm run test:e2e

使用 DSH_MAAS_MODEL 或 DSH_NVIDIA_NIM_MODEL 覆盖真实测试默认模型。无密钥测试通过只能证明 DSH 协议集成；只有真实测试通过才能证明所选账号、端点和模型当时可用。

理解实现

实现细节——点击展开

这个包在 package.json 中声明 dsh.bundle.patch。DSH 会在所选 profile 的现有 bundle 层之后应用 cordis.patch.yml，该 patch 会替换 llm-pi-ai 行的完整配置。适配器为每次请求解析 MAAS_API_KEY 或 NVIDIA_API_KEY，并把 provider SSE 事件转换为 DSH stream chunk；本仓库不拥有网络客户端或凭据存储。

| 路径 | 职责 |
|---|---|
| cordis.patch.yml | Provider 身份、协议、端点、凭据引用和 SSE 偏好 |
| tests/bundle.spec.ts | Bundle 注册以及无密钥 Chat/Responses 流式行为 |
| tests/live.e2e.spec.ts | 使用凭据调用两个在线平台 |

延伸阅读

- 蚂蚁数科 MaaS 快速接入——Chat Completions 端点与认证。
- 蚂蚁数科 MaaS Codex 指南——Responses 兼容配置。
- 蚂蚁数科 MaaS 支持模型——当前模型与协议可用性。
- NVIDIA NIM API 参考——OpenAI 兼容端点与流式行为。
- DeepSeek Harness 打包教程——Bundle 安装与配置层顺序。

模型体验

间接。这个 bundle 选择模型 provider，但不增加任何模型可见的 prompt、工具、命令或 transcript 内容。@deepseek-ai/dsh-llm-pi-ai 拥有 provider 转换和流式模型输出。

已知限制与延期工作

- MaaS 模型可用性和协议支持可能独立于本仓库变化；请根据官方目录核对所选模型。
- 预配置 MaaS 模型列表有意保持精简。只有确认协议与容量后，才通过 DSH 设置添加其他模型。
- 真实 API 测试需要用户自己的凭据并消耗平台额度；CI 只运行无密钥协议测试。
- 这个 bundle 配置托管 API，不部署自托管 NVIDIA NIM 容器。
- 后置 profile patch 或 llm-pi-ai 设置节可以替换 bundle 的完整 provider 配置。

开发备注

维护者工作上下文——点击展开

无。