本地决策控制面 NMTZ-z/system-one-benchmark-lab

Local System One

面向 Apple Silicon 智能体的本地类型化决策控制平面。

让本地小模型负责 Agent 的高频控制决策，让 LLM 专注真正需要生成、规划和深度推理的工作。

Local System One 不是又一个聊天机器人，也不替代你的 LLM。它位于智能体主模型的前方或周围，回答那些小而频繁的问题，比如：

- 这个任务需要当前的 Web 信息吗？
- 这个请求能用更便宜、更快的推理层级吗？
- 这个事件该保持静默、进入摘要，还是立刻打断用户？
- 这个任务真的完成了吗，还是智能体应该继续或先验证？
- 这个决策该由哪个后端处理？
- 本地 ANE 路径现在足够健康、可以用吗？

项目打包了经过验证的 Laya Typed Decisions 421M 运行时、可选的 Apple Neural Engine (ANE) 后端、HTTP/MCP 接口、可逆的 Hermes 适配器，以及原生 DeepSeek Harness 适配器。运行时是与平台无关的决策平面；每个适配器负责把抽象决策安全地映射到自己的平台上。

为什么需要它

大语言模型擅长生成和推理，但智能体却反复把这些昂贵的调用花在细小的路由决策上。

Local System One 把这些决策拆成独立的本地控制层：

User / Agent
v
Local System One
+-- hard rules
+-- typed-decision model
+-- policy / health gates
v
LLM / tools / notification / routing action

目标不是「什么都用小模型」。目标是在结构化决策就够用的地方使用本地小模型，同时让系统保持可逆、失败开放。

它能决策什么

| 工作流 | 问题 | 当前状态 |
| Search Gate | 这个任务需要公开/当前的 Web 信息吗？ | 可用。确定性硬规则可以执行；基于模型概率的路由仍偏保守，以 Shadow 优先。 |
| Model Tier Gate | 有边界的任务能用更快的推理层级吗？ | 可用，但基于模型的广泛路由仍属实验性。 |
| Notification Gate | silent / digest / notify_now？ | 可用 MVP。 |
| Completion Gate | complete / continue / verify？ | Phase 8A 中仅 Shadow。 保守基准已完成；Active 自动停止为 NO-GO。 |
| Choice / Score / Noul | 供你自己的控制逻辑使用的通用类型化决策 | 可通过 HTTP API 使用。 |

这个区分很重要：项目刻意把技术能力和有多少证据才够自动启用分开。

快速开始

环境要求

- Apple Silicon 上的 macOS
- Python 3.11–3.13
- 首次下载模型时需要联网

克隆并启动默认的 MLX 后端：

git clone https://github.com/NMTZ-z/system-one-benchmark-lab.git
cd system-one-benchmark-lab

python3.12 -m venv .venv
. .venv/bin/activate
python -m pip install -e .

local-system-one --host 127.0.0.1 --port 8787
默认源别名是 laya-typed-decisions，它会解析到经过验证的 checkpoint 修订：

convaiinnovations/laya-typed-decisions
f9ab0b228f0fc0f14d873dbc99038f135c2da1b2

检查服务：

curl http://127.0.0.1:8787/health

可用端点包括：

POST /v1/choice
POST /v1/score
POST /v1/noul
POST /v1/workflows/search-gate
POST /v1/workflows/model-tier-gate
POST /v1/workflows/notification-gate
POST /v1/workflows/completion-gate
GET /health
GET /metrics

服务默认绑定到 loopback，不持久化原始任务文本。

可选的 Apple Neural Engine 后端

安装 ANE 依赖：

python -m pip install -e '.[ane]'

从 Hugging Face 下载经过验证的固定形状 L512 Core ML 包：

hf download NMTZ/laya-typed-decisions-421m-coreml-ane \
--include 'L512/*' \
--local-dir artifacts/models/laya-typed421-ane

然后用下载好的包启动 Local System One：

local-system-one \
--ane-package artifacts/models/laya-typed421-ane/L512/model.mlpackage

Hugging Face 发布版还包含经过验证的 L192、L384 和 L640 研究变体。L512 仍是推荐的默认选择，因为它覆盖了 1,966 / 2,000 条冻结基准决策，同时与 MLX 参考实现保持 99.8% 的选中决策一致率。

如果你想在本地复现转换过程，可以用下面的命令构建同一个经过验证的固定形状 L512 包：

scripts/build_typed421_ane.sh

然后用本地构建的包启动 Local System One：

local-system-one \
--ane-package artifacts/models/typed421-body512-fp16/model.mlpackage

构建脚本把 laya-coreml 固定到：

4619e0483f07adf39068532e85b42ec2347edb83

本项目不复制原始 421M checkpoint。转换后的固定形状 ANE 产物单独发布在 NMTZ/laya-typed-decisions-421m-coreml-ane，附带来源信息、SHA256 元数据和基准测试证据。Hugging Face 上的包是 ANE transformer-body 产物，tokenizer、embedding lookup 和 host 侧 action head 仍然使用固定版本的上游 Laya checkpoint。

运行时，路由器不会盲目强制使用 ANE。它结合 token 长度和 ANE 健康门控来判断，当加速器路径不可用、不健康或不适用时，回退到 MLX。

统一适配器契约

Hermes 和 DeepSeek Harness 现在都实现 Adapter Contract v1。这份共享契约定义了决策语义、模式、动作结果、fail-open 含义，以及可比较的隐私安全遥测，但不统一平台内部实现。

Local System One Runtime
v
Decision Contract v1
/ \
Hermes Adapter DSH Adapter

ModelTier=fast 是可移植的决策。reasoning_effort=low、服务商/模型白名单，或具体的 Web 工具名则不是。这些留在各自的 Adapter 内部。
参见 Adapter Contract v1 和机器可读 schema。
Completion 是向后兼容的 Contract v1 扩展；语义、有界上下文、基准证据以及 Active NO-GO 决策见 Completion Gate。

Hermes 集成

仓库内置原生 Hermes 插件，有三种模式：

off -> shadow -> canary

首次安装默认不生效。

评估配置档的用法：

scripts/install_hermes_system_one_plugin.sh systemoneeval
scripts/set_hermes_system_one_mode.sh systemoneeval shadow
scripts/hermes_system_one_status.sh systemoneeval

Shadow 模式只观察决策，不改动服务商请求。Canary 需要显式确认，并且刻意保持窄范围。

回滚已内置：

scripts/uninstall_hermes_system_one_plugin.sh systemoneeval

插件失败即放行：Local System One 不可用，或推荐结果不完整时，Hermes 保持原始请求不变。

完整生命周期与安全约束见 Hermes 插件文档。

DeepSeek Harness 集成

仓库内置 local-system-one-dsh，这是官方 DeepSeek Harness 插件生命周期的原生适配器。它现在与 Hermes 一样覆盖 Search Gate + Model Tier Gate + Notification Gate（Shadow）+ Completion Gate（Shadow）；Unified Adapter Contract v1 让两个平台共用一份带版本号的语义契约，同时保留平台各自的执行方式，以及可回滚、失败即放行的行为。

已验证的 DSH 目标版本刻意精确到：

0.1.7-rc.2 @ 477b4f420553e8a52c2fbccc464d7561b239c443
0.2.1-alpha.1 @ 5badb15009ae1756c3afe0ae0cef1faafc290ccc

适配器支持独立观察 Search、Model Tier、Notification 和 Completion。Search 与 Model Tier 在回合开始时运行；Notification 与 Completion 观察已完成的 Agent 回合，且仅限 Shadow。Search Canary 保留已审计的硬性 no-Web 规则。Model Tier Canary 属实验性，默认关闭；显式确认并启用后，只有针对精确已验证的服务商/模型路由、且经过审计的确定性 hard-fast 决策，才可以复制首个服务商请求并把 reasoningEffort: high -> low。基于模型或概率的决策永远不获得主动权限。

真实服务商链路验证路径包括：

DeepSeek Harness -> Nova -> DeepSeek V4.1 Flash
DeepSeek Harness -> StepFun Step Plan -> step-5-preview

StepFun 路由完成了原生 high/low 请求，以及一次 Local System One 的 high 到 low 自动 Canary 切换，其中还包括首次服务商调用后工具循环恢复为 high。
安装包在 off 模式下保持惰性。连接错误、超时、网关响应格式错误、不支持的服务商/模型路由，以及任何缺失的 Canary 授权，都会 fail open 到 DSH 原生行为。回合级的 Search 和 Model Tier 状态会在回合结束时清除。

为受支持的 headless 配置档安装社区安装包：

dsh plugin --profile headless add github:NMTZ-z/system-one-benchmark-lab#dsh-plugin

参见 DeepSeek Harness 适配器文档、Phase 0 / Phase 1 探测报告，以及 Phase 7A Model Tier 一致性报告。

架构

Agent / Hermes / DeepSeek Harness / MCP client
v
Local System One API
v
Decision Engine
/ | \
rules policy typed model
v
Router
/ \
MLX L512 ANE
^ |
+-- health/fallback

主要组件：

- local_system_one/ — 服务、路由器、健康门控、运行时适配器和工作流
- integrations/hermes/ — 可逆的 Hermes 原生插件
- integrations/deepseek-harness/ — 可逆的 DeepSeek Harness 多网关适配器
- scripts/ — 本地服务、ANE 构建、launchd 和插件操作
- docs/ — 设计说明和产品验证
- results/reports/ — 冻结的公开基准报告

已验证结果

本仓库源自一个可复现的 JEV/Laya/ANE 评估项目。有几项结果与产品直接相关：

Typed Decisions 质量

在公开的 400 用例 / 2,000 决策基准上：

| 后端 / 模型 | 准确率 |
| Laya Typed Decisions 421M MLX | 0.766 |
| Jev 1.13.0 | 0.737 |

这些数字只描述本基准，不是通用模型排名。

L512 ANE 工程

对于已验证的 421M 固定 L512 路径：

- 自然基准覆盖率：1,966 / 2,000 决策（98.3%）
- 与同子集 MLX 的选中决策一致率：99.8%
- 代表性单决策系统总能耗：约比 MLX 好 2.07 倍
- L640 达到 100% 容量覆盖，但不是延迟/效率权衡的最佳默认值

关键结果是带运行时健康门控的能效本地推理，而不是声称 ANE 对每个请求都更快。

可复现性

公开发布路径已从隔离的净化安装包验证通过：

- 干净的 Python 安装
- 固定版本的模型获取
- 固定版本的 laya-coreml 检出
- 全新的 L512 转换
- 运行时启动探测
- 旧版与重建版的输出一致性检查

参见 公开版本说明。

当前限制

这是一个 alpha 控制平面项目，不是通用的自主路由器。

重要限制：

- Search 模型概率不被信任为不受限制的最终权威。
- Model Tier 大范围自动降级并不能稳定降低延迟，这一点尚未得到验证。
- ANE 后端使用固定的 L512 body，请求不匹配或健康检查失败时必须回退。
- 通知偏好目前还没有个性化。
- Hermes Canary 刻意收窄了范围，需要显式确认才能启用。
- 再加一台物理 Mac 能增强跨机器可复现性的证据，不过干净的公开路径重建已经在开发用的 M4 Mac mini 上通过了。

保守的默认值是刻意为之。路由决策一旦出错，代价可能比它省下的那点算力更高。

文档

按你想做的事，从下面挑一个入口：

- Local System One 产品与 API
- Unified Adapter Contract v1
- Search Gate
- Model Tier Gate
- Notification Gate
- MCP 与 launchd 部署
- Hermes 插件产品化
- DeepSeek Harness 适配器
- DeepSeek Harness 验证报告
- DeepSeek Harness Phase 7A Model Tier 对齐
- Phase 7B Notification + StepFun 验证
- 公开发布 / 可复现性
- 上游来源

底层实验：

- Jev Typed Decisions 基准
- Laya 421M 质量基准
- Core ML 与 MLX 对齐
- Phase 4 ANE 工程

项目理念

System One 在这里的定位是智能体控制原语，不是通用 LLM 的替代品。

实际用法是这样的：

hard rule when certainty is available
->
small local probabilistic decision when useful
->
policy / confidence / health gate
->
LLM or action

这样一来，控制层就变得便宜、本地、可检查、可回滚，也容易关掉。

许可证

Local System One 基于 Apache License 2.0 发布。

项目依赖上游工作，并单独记录相关文档。固定的修订版本与来源见 references/UPSTREAM.md。