千帆模型接入 hyt-ao/dsh-llm-qianfan

dsh-llm-qianfan

百度千帆（Baidu Qianfan）大模型适配器插件，用于 DeepSeek Harness（DSH）的 LLM 接口层。

功能

- 将 DSH 的统一 LLM 接口对接到百度千帆的 Chat Completions API
- 支持流式输出（SSE streaming）
- 支持工具调用（function calling / tool use）
- 支持思考模式（thinking / reasoning models，如 ERNIE-4.5）
- 内置速率限制器（token bucket + header-based back-pressure）
- 支持通过环境变量或 .env.qianfan 文件配置 API Key 和模型列表

安装

方式一：从 GitHub 安装（推荐，零编译）

dsh plugin add github:hyt-ao/dsh-llm-qianfan

仓库已包含预构建的 lib/ 目录，克隆后无需编译，无需配置 allowBuilds。

方式二：克隆后本地安装

git clone https://github.com/hyt-ao/dsh-llm-qianfan.git
dsh plugin add ./dsh-llm-qianfan

配置

1. 设置 API Key

在 DSH 的 llm-qianfan: 设置区块中填入你的千帆 API Key，或通过环境变量提供：

export QIANFAN_API_KEY="your-api-key-here"

也可以在项目根目录创建 .env.qianfan 文件：

QIANFAN_API_KEY=your-api-key-here

2. 自定义模型列表（可选）

默认支持以下模型。如需添加或修改，设置环境变量：

export QIANFAN_MODELS='[{"id":"ernie-4.5-turbo-128k","thinking":true},{"id":"deepseek-v3"}]'

每个模型对象的字段：
- id（必填）：千帆平台上的模型标识
- thinking（可选，布尔值）：是否为思考模式模型

3. 速率限制（可选）

通过环境变量配置速率限制器：

| 环境变量 | 说明 | 默认值 |
| QIANFAN_RATE_LIMIT_TPM | 每分钟 token 上限 | 不限制 |
| QIANFAN_RATE_LIMIT_RPM | 每分钟请求上限 | 不限制 |
| QIANFAN_RATE_LIMIT_CONCURRENCY | 最大并发请求数 | 不限制 |
| QIANFAN_RATE_LIMIT_IDLE_TIMEOUT_MS | 空闲超时（毫秒） | 300000 |

注：最好做限制，不然容易超出限制导致中断个人配置如下： Tokens-per-minute quota (0 or unset → disabled)
QIANFAN_RATE_LIMIT_TPM=300000

Requests-per-minute quota (0 or unset → disabled)
QIANFAN_RATE_LIMIT_RPM=100

Safety margin 0–1. Effective limit = quota × (1 − margin). Default 0.15
QIANFAN_RATE_LIMIT_SAFETY_MARGIN=0.15

Minimum interval between consecutive requests (ms). Default 200
QIANFAN_RATE_LIMIT_MIN_INTERVAL_MS=200
从源码构建

如需自行修改并重新构建：

pnpm install
pnpm build

构建产物输出到 lib/ 目录。

技术参数

| 参数 | 默认值 |
| 上下文窗口 | 128,000 tokens |
| 最大输出 tokens | 8,192 |
| 流式空闲超时 | 300,000 ms (5 分钟) |

许可证

MIT