Ollama 原生推理 JoblessJoe/dsh-llm-ollama-native

这是给 DeepSeek Harness（dsh）用的 LLM 适配器。它不走 Ollama 的 OpenAI 兼容端点，而是走原生 /api/chat 端点，所以 reasoningEffort: off / low / medium / high 能真正改变本地模型思考的时长。

- off 就是真的关掉： 不会再为了一句回答，先默默推理好几分钟。
- 即插即用： 在你现有的 ollama 路由旁边加一条新的服务商路由。随时可以切回去。
- 失控保护： 客户端侧的思考预算，能拦住那些没完没了推理的模型。

为什么会有这个项目

如果你用 dsh 跑本地 Ollama 模型，把 reasoningEffort 设成 low、medium 或 off，你会以为模型真的会少用（或不用）思维链。但走 dsh 默认的 Ollama 路由，并不会。

dsh 内置的 Ollama 支持走的是 llm-pi-ai，它对接 Ollama 的 OpenAI 兼容端点（/v1/chat/completions）。这个端点会悄悄忽略所有推理控制字段：chat_template_kwargs、顶层的 think、顶层的 reasoning_effort，流式也好非流式也好，一概无视。请求到达模型时永远不带任何信号，模型只能退回自己的默认值，而对大多数思考型模型来说，这个默认值就是最啰嗦的那档。

这不是 dsh 配置错了。这是 Ollama 一个尚未解决的公开 bug：ollama/ollama#16240 记录的正是 OpenAI 兼容端点丢弃 chat_template_kwargs 的问题。截至本文写作时，上游还没有通过该端点给出修复或绕过方案。

Ollama 的原生 /api/chat 端点没有这个问题。它的 think 字段（false、true，或者对模板支持的模型用 "low" / "medium" / "high"）能可靠地传到模型。这个包就是个小适配器，改用这个端点，让你 dsh 配置里的 reasoningEffort 名副其实。

如果你用的不是 Ollama，或者你的服务商本来行为就正确，那你不需要这个。

环境要求

- 已安装 dsh，并配置为对接本地 Ollama 实例
- Ollama，且模型支持 think（用 ollama show <model> 查看，看 capability 里的 thinking）
- Node 22 或更高版本

安装

先进入你想装这个的配置档目录（比如 ~/.dsh/profiles/<your-profile>）：
pnpm add dsh-llm-ollama-native@github:joblessjoe/dsh-llm-ollama-native

把它加到那个配置档的 package.json 里，放在 dsh.profile.bundles 下：

{
"dsh": {
"profile": {
"bundles": [
"...",
"dsh-llm-ollama-native"
]
}
}
}

然后在那个配置档的 cordis.patch.yml 里配置它：

- id: llm-ollama-native
config:
provider: ollama-native
baseURL: http://127.0.0.1:11434
models:
- id: your-model-tag
contextWindow: 32768
defaultReasoningEffort: low

在 ~/.dsh/settings.yaml 里把默认模型指向新路由：

agent-default-model:
provider: ollama-native
model: your-model-tag
reasoningEffort: low

重启 dsh 让新 bundle 生效。settings.yaml 本身会热重载，但往 dsh.profile.bundles 里加插件必须重启。

你原来通过 llm-pi-ai 走的 ollama 路由不受任何影响——随时把 provider 改回 ollama 就能还原。

验证

test.js 直接驱动适配器，连到正在运行的 Ollama 服务器（不需要跑 dsh 配置档，但要装好 @deepseek-ai/dsh-llm——适配器继承的类型/基类包）：

npm install
node test.js

它会检查 reasoningEffort: "off" 不产生推理输出、"low" 会产生一些，以及工具调用能正确往返。默认用 qwen3.8:27b；想换别的模型，用 OLLAMA_TEST_MODEL=your-model:tag node test.js。

配置参考

| 字段 | 必填 | 说明 |
| provider | 是 | 其他 dsh 配置引用的路由名（例如 agent-default-model.provider） |
| baseURL | 否 | Ollama 服务器地址，默认 http://localhost:11434 |
| displayName | 否 | 显示在模型选择器里，默认 Ollama (native) |
| models | 是 | 模型条目数组 |
| models[].id | 是 | Ollama 模型 tag |
| models[].contextWindow | 否 | 上下文窗口大小，用于显示和请求尺寸计算 |
| models[].defaultReasoningEffort | 否 | off、low、medium 或 high；请求没指定时使用，默认 low |

限制

这是个精简适配器，不是 llm-pi-ai 的完整移植：

- 不支持图片或文件内容块；只有文本和推理块
- 不会把之前的助手推理重放进后续请求
- 没有重试策略，也没有服务商侧的图片计费
- 分级推理档位（low / medium / high）取决于你的模型自己的 chat template 是否支持；off 是唯一保证到处都能用的，因为它在 Ollama 内部就是硬开关

许可证

MIT