arcships/dsh-llm-aimux

dsh-llm-aimux

CI
License: MIT

由 aimux 驱动的 DeepSeek Harness (dsh) LLM 适配器 —— 一个 Rust 引擎，将 325+ 个 AI 提供商暴露为 dsh 模型路由。

中文简介：本插件把 aimux（Rust 统一 LLM 访问层，325+ 提供商）接入 DeepSeek Harness——每个 aimux provider 都可以配置成一条 dsh 模型路由。

安装

dsh plugin --profile web add @arcships/dsh-llm-aimux

然后存储凭据（或导出环境变量）并选择模型：

dsh --profile web
Models page → provider "deepseek" → paste your DEEPSEEK_API_KEY

无头模式不使用凭据存储也可以工作 —— aimux 会直接读取提供商的
常规环境变量（DEEPSEEK_API_KEY、GROQ_API_KEY 等）。

配置

路由以 dsh 提供商 id 为键；每个路由映射到一个 aimux 提供商。下面的
组合条目只是基础层 —— 用户通过其设置（Web 的 Models 页面 → 提供商卡片，或 settings.yaml 中的 llm-aimux: 部分）添加或编辑路由，更改无需重启即可生效：

- insert:
- id: llm-aimux
name: '@arcships/dsh-llm-aimux'
config:
providers:
deepseek:                    # dsh route id
provider: deepseek         # aimux provider name (default: the route id)
apiKeyEnv: DEEPSEEK_API_KEY # credential ref (default: _API_KEY)
kimi:
provider: moonshot         # credential ref derives as MOONSHOT_API_KEY
groq:
displayName: Groq

同样的结构也适用于用户设置层：

llm-aimux:
streamIdleTimeoutMs: 300000     # chunk-idle watchdog relayed to aimux
providers:
groq: {}
relay:                        # endpoint override through a gateway/relay
provider: deepseek
baseUrl: https://relay.example/v1
headers:
X-Org: acme

- provider —— 一个 aimux 提供商名称。aimux 内置 325+ 个（其中 251 个是
OpenAI 兼容的注册表条目）；参见
aimux 提供商文档。
- 每个路由都会在 Models 页面上显示为一个可配置的提供商
（ctx.llm.registerConfigurableProviders，通过
llm-aimux.providers. 寻址）；添加或删除路由会原子性地切换。
- 当挂载了 harness 的 ctx.credentials 接缝时，凭据通过它解析；
否则 aimux 回退到提供商自身的环境变量。解析是按请求进行的，
因此轮换后的密钥会作用于下一次调用。

状态与范围

这是一个年轻的实验性项目，跟踪一个开发者预览版 harness —— 双方都可能出现
破坏性变更（dsh rc 版本升级、aimux 1.0 之前）。

目前支持：

- 带工具调用的流式聊天（原始 JSON 工具参数，遵循适配器契约）
- 推理块的输入和输出
- 分离的 token 用量核算（缓存读取/写入单独拆分）
- 每个出站提供商请求上的归属标头
- 设置集成：llm-aimux 用户设置部分、按路由的 Models
页面卡片，以及部分变更时的热路由交换（registration.replace）
- 模型元数据合并（aimux RFC-0027 主机角色）：运行时 /models
发现 + 社区目录（getModelSpecs），为 Models 页面卡片、
resolveModel 上下文窗口 / 输出上限 / 推理强度，
以及已存储路由的端点查询提供数据
- 按路由的端点覆盖（baseUrl、headers），用于中继和网关
- 流式分块空闲看门狗（streamIdleTimeoutMs，默认 300 秒）

重试策略：aimux 始终只发送一次尝试（max_retries: 0）——
dsh 代理层拥有重试预算，与 llm-pi-ai 的处理方式一致。

尚不支持：

- 图像输入（dsh 附件引用尚未解析为字节）——以
UNSUPPORTED 失败关闭
- 订阅/OAuth 渠道（aimux RFC-0018 将这些保留在集成方一侧）
- 对草稿（尚未存储）路由的端点查询——任意
baseURL 草稿无法通过 aimux 注册表，且不返回任何内容

路由冲突：此处拥有的路由不能与内置的
llm-pi-ai 路由重叠（dsh 拒绝重复的适配器）。如果你同时配置两者，
请为 aimux 条目指定一个不同的 route id。

开发

npm install
npm run typecheck
npm test

该适配器是 src/translate.ts 之上的薄壳（纯函数、同步、
无需原生绑定即可完整进行单元测试）。@arcships/aimux 通过
npm 可选依赖提供预构建的平台二进制文件——没有构建脚本，
因此 dsh plugin add 无需 pnpm allowBuilds 标志即可工作。

许可证

MIT