模型对比标尺 bitgineer/artificial-analysis-skill

Artificial Analysis 技能

一个智能体技能，外加一个小型命令行工具。它从 ArtificialAnalysis.ai 采集 LLM 模型数据，套用固定的对比标尺，输出 JSON。运行技能的智能体根据这份 JSON 写报告。

不需要 API 密钥。不需要账号。除 Node.js 外没有依赖。

为什么要固定标尺

模型对比容易漂移：一份报告按智能排名，下一份按价格排名，第三份按模型当时的心情排名。这个项目只保留一份可审计的定义，说明什么才重要：

- 指标注册表：每个指标都声明自己的单位和哪个方向更好；
- 用例配置档：按模型在某个任务相关指标上的平均位次排名。

新增指标或用例，只需在 scripts/lib/scale.mjs 里改一行数据。

环境要求

Node.js 18 或更新版本。脚本只使用内置模块。

安装

OpenCode：把本文件夹复制到你的 skills 目录。

Windows
Copy-Item -Recurse . "$env:USERPROFILE\.config\opencode\skills\artificial-analysis"

macOS / Linux
cp -r . ~/.config/opencode/skills/artificial-analysis

其他智能体：让它读 SKILL.md，再让它运行脚本。这个技能就是 Markdown 加 Node 脚本，没有别的东西。

适用环境

技能就是 Markdown 加 Node 脚本，所以不绑定某一个 harness：

- OpenCode：原生技能格式。把文件夹复制进 skills/。
- Claude Code、Codex、Cursor、Windsurf、Cline、Aider、Gemini CLI：让智能体读 SKILL.md，再让它运行脚本。
- DSH（DeepSeek Harness） 和其他 harness：规则相同，SKILL.md 加 Node 18 或更新版本。

已在 OpenCode 上测试。

用法

1. Discover model ids (optional)
node scripts/collect.mjs --list --query deepseek

2. Collect and rank. Two or more ids.
node scripts/collect.mjs --models claude-opus-5-5,gpt-6-astra --out aa-comparison.json

3. Or read an existing comparison page
node scripts/collect.mjs --url "https://artificialanalysis.ai/models/comparisons/a-vs-b" --out aa-comparison.json

采集器会打印各指标的领先者和每个用例排名的头部，然后写入 JSON。写入是原子操作。并行运行时，每次都要传不同的 --out，因为最后一次运行会覆盖前面的结果。

输出

| 字段 | 含义 |
| collectedAt、sourceUrl、extractionSource | 来源信息。引用前两个。 |
| modelCount、modelsWithData | 目录规模，以及有多少模型带有任何指标。 |
| models[] | 规范化记录：价格、速度、上下文、标记、基准测试、每任务成本。 |
| metrics[] | 各指标的领先者：best.value、best.names、direction、unit。 |
| useCases[] | 各用例的排名：averageRank、metricsWithData、metricsTotal。 |

每个字段、指标和用例的说明见 references/scale.md。

标尺

指标覆盖智能、基准测试、价格、性能和能力。每项指标都声明了方向，所以价格越低越好，分数越高越好。缺失值保持为 null，绝不计为零。

用例：软件开发、智能体与自动化、科学研究、交互与通用场景，以及 QA 与测试工程。

限制

- 数据来自抓取公开页面。页面可能随时变动，而且页面上的目录远比带基准测试数据的集合大得多。
- 少数指标只覆盖目录中的一部分。排名会说明每一行依据多少项指标。
- 每任务成本是 Artificial Analysis 在其评估套件上的加权成本，不是你的工作负载。
- 本项目与 Artificial Analysis 没有关联。

隐私

没有遥测，没有凭据，没有本地数据。脚本只向 artificialanalysis.ai 发起 HTTPS 请求，拒绝其他所有主机。生成的 JSON 留在你写入的位置。

测试

npm test

测试离线运行，使用固定样本。

许可证

尚未选定。