# Benchmark 覆盖审计

> 快照日期：2026-08-28。本文解释“矩阵空白”的证据状态；它不是一张新的成绩表，也不把候选数据当作已发布结果。

## 结论

矩阵缺失不等于没人测过。页面现在同时读取两层数据：`canonical observations` 是已经
完成身份/版本/协议核对的事实；`public/reported evidence` 直接收录公开 leaderboard、
模型卡和 provider 披露值，并在单元格与详情中标记 `披露 · 未复现`。后者可以帮助快速
填满信息地图，但不参与 canonical 排名，也不被描述成本站实测。

因此，一个空单元可能属于以下四种状态；公开层还有一条独立的“已报告但未映射”队列。需要特别区分 **raw snapshot** 与 **primary matrix**：Epoch AI 的下载 Hub 是跨来源发现 feed，不是一个由同一评测方维护的总榜。主矩阵只保留 canonical 目录和经过来源/协议初筛的公开 benchmark；未核验的短期 probe、内部别名、composite index 仍保留在 `evidence JSONL`，标记为“仅证据 · 默认隐藏”，不会被删除或当作 0。

| 状态 | 含义 | 页面/维护动作 |
| --- | --- | --- |
| `catalog-only` | 已确认模型或 benchmark 存在，但尚无可发布的 observation | 默认公开覆盖视图保留无分数行；不参与成绩计算或排名 |
| `reported / unreviewed` | 公开来源已经给出数字，本站尚未复现或逐条核对 | 进入矩阵，显示 `披露 · 未复现`；点击查看 URL、locator、时间、hash 和 protocol |
| `candidate` | 已从公开来源发现结果，但缺值或仍需身份、版本、协议、指标审核 | 进入公开索引/Actions review packet，显示候选标记 |
| `approved` | 已核对并追加到 canonical observation 长表 | 进入对应 Model Atlas 或 System Runs |
| `no-public-result` | 截至检索日没有找到可核验的公开结果，或官方明确限制公开 | 记录检索日期和原因，不能推断为未测试 |

### 截图中的 `epoch_*` 列怎么读

这些列不是同一个新 benchmark 的不同赛道，而是 Epoch AI Hub 导出的 **benchmark-name / metric 快照键**。`epoch-` 前缀表示“来自 Hub 的外部聚合记录”，不表示 Epoch 是原 benchmark 的出题方或 checker 维护者。默认主矩阵只准入少量能回到清晰 owner、任务说明和原始地址的系列：

| 主矩阵准入 | 原始 benchmark | 说明 |
| --- | --- | --- |
| `epoch-arc_agi_external` / `epoch-arc_agi_2_external` | [ARC-AGI](https://arcprize.org/arc-agi) / [ARC-AGI-2](https://arcprize.org/arc-agi/2) | ARC Prize 的抽象推理任务；Hub 数值仍是外部聚合，不等于官方提交成绩 |
| `epoch-ale_bench_external` | [ALE-Bench](https://github.com/SakanaAI/ALE-Bench) | SakanaAI 的算法工程/AtCoder heuristic track；不要和 Agents’ Last Exam 或 Atari ALE 混名 |
| `epoch-bbh_external` | [BIG-Bench Hard](https://github.com/suzgunmirac/BIG-Bench-Hard) | Google BIG-bench 的高难子集；需区分 CoT、few-shot 和聚合口径 |
| `epoch-frontiermath_tier_4` | [FrontierMath](https://epoch.ai/benchmarks/frontiermath) Tier 4 | Epoch 的 Tier 4 报告快照；官方题集、grader 和工具限制仍以 FrontierMath 页面为准 |
| `epoch-deepswe_external` / `epoch-terminalbench_external` / `epoch-osworld_2_external` | [DeepSWE](https://github.com/agentica-project/deepswe) / [Terminal-Bench](https://github.com/harbor-framework/terminal-bench) / [OSWorld](https://github.com/xlang-ai/OSWorld) | 真实代码或电脑环境任务；必须回到 harness、环境和预算，不当作裸模型分 |
| `epoch-gdpval_external` / `epoch-scicode_external` | [GDPval](https://openai.com/index/gdpval/) / [SciCode](https://github.com/scicode-bench/SciCode) | 有明确项目入口的专业工作/科学代码任务；仍保留 Hub 快照与原始项目链接的区别 |

像截图里的 `epoch-chess_puzzles`、`epoch-critpt_external`、`epoch-weirdml_external`、`epoch-vending_bench_2_external`、`epoch-simplebench_external`、`epoch-proofbench_external`、`epoch-otis_mock_aime_2024_2025` 和 `epoch-epoch_capabilities_index`，目前只有 Hub 快照键或二手页面证据，缺少足够稳定的 owner/protocol/版本链，因此只出现在下方证据审计，不占用默认矩阵列。以后若要升级，必须先补 benchmark profile 和原始地址；不会按“有数字”自动晋升。

公开来源的 model alias 无法安全映射时，原始名称仍保留在 `data/public/unmapped.jsonl`
及其 `unmapped-summary.json` 审计索引和维护 artifact，但不会被猜测成另一个
canonical release。

## 为什么原矩阵“前稀后密”

2026-08-28 对旧版 147 个平铺列做了逐列审计：人工置顶的前 20 列只有
**276 / 2,000 = 13.8%** 非空，其中第 9–20 列仅 **3.58%**；第 21–100 列则是
**27.85%**。这不是 benchmark 越靠后越常测，而是三个显示结构叠加造成的：

1. canonical 主口径被固定放在最前，即使它暂时没有安全映射值；
2. 同一 benchmark 的 `score`、`mean_score`、版本和 subtask 被建成子切片，并被排到后面；
3. source-specific 版本（例如 Epoch、HELM、不同 SWE scaffold）也被平铺成独立列。

页面现在先按 **curated primary matrix** 筛掉未核验 public snapshot，再按语义分组、重要度层级和组内去重覆盖排序；每次只
渲染 24 列。raw evidence 仍可通过“全部切片”和下方审计层查看。若
主口径为空但子切片有数据，单元格显示 `N variants`，点击后逐条查看。不同 benchmark
版本、metric 或 harness **不会被合并成一个数值**。需要审计原始结构时仍可切换到
“全部切片”。纯空白现在写作“本站未收录”，不再暗示“外界没有测试”。

## SWE-bench 空白到底是不是真的

大部分不是“没有人测”，而是证据层级或协议不同：当前 canonical 中 SWE-bench Pro
只有 1 条，Verified 与 Multilingual 都是 0；但公开证据层已经分别有 **18、77、11 条**
可映射披露行。SWE-bench 官方机器可读榜当前共有 370 行，其中 Verified 180、Lite 84、
Bash-only 47、Test 24、Multimodal 22、Multilingual 13。这里很多是旧模型或不同
agent/scaffold，不能把同名模型的任意最高分直接填进一个裸模型单元格。

最新版模型还有另一类情况：分数存在于 provider 模型卡，但尚未进入 SWE 官方统一榜。
例如 [OpenAI GPT-5.6](https://openai.com/index/gpt-5-6/) 披露了 SWE-bench Pro，
[Anthropic 最新系统卡](https://www.anthropic.com/system-cards) 披露了 Verified、Pro 与
Multilingual，[Gemini 3.1 Pro 模型卡](https://deepmind.google/models/model-cards/gemini-3-1-pro/)
也披露了自建 scaffold 下的 Verified/Pro。它们可以作为 `provider-reported · 未复现`
进入相关切片，但必须保留 dataset revision、harness、effort、采样次数、turn/token/cost
上限；不能静默当成同协议结果。

少数空白目前确实成立：例如 [Gemini 3.7 Flash](https://deepmind.google/models/model-cards/gemini-3-7-flash/)
当前官方模型卡没有标准 SWE-bench 结果；Kimi K3、GLM-5.3、DeepSeek V4 的部分正式
checkpoint 也只报告 DeepSWE、FrontierSWE 等近邻 benchmark，不能继承 preview 或旧
checkpoint 的 SWE 分数。同样的“公开有值但未进入主口径”还出现在 Terminal-Bench、
BrowseComp、OSWorld 等 system benchmark，因此修复必须是通用的 group + protocol
建模，而不是只手工补 SWE 一列。

## 当前精确快照

统计对象不同，数字会不同，不能把它们混为“已经收录的成绩数”：

- 目录有 **100 个模型 / 配置条目、53 个 canonical benchmark 定义、110 个来源、15 个 harness**（另有 19 个比较预设）；Evaluation 前端从公开证据再生成 raw public source/version 与 metric slices（当前约 147 个严格切片）。默认 `public-coverage` 只把 canonical 与已列入准入表的公开切片折叠进主矩阵；其余 raw slice 仍可从“全部切片”、`evidence.jsonl` 和详情抽屉审计。
- canonical 文件当前有 **15 行**；构建后的站点索引包含 **47 个 runs/observations**（其中 **32 行**是兼容旧 schema 的 legacy 记录）。
- 有数值的 canonical 已观察模型为 **9 个**，仅目录模型为 **91 个**；已观察的模型×benchmark 单元为 **29 个**，按全目录口径覆盖率为 **0.5%**。维护报告按 active 集合和 freshness 口径计算时可能显示不同百分比，这是分母不同，不是数据丢失。
- 公开层本次 union 合并 **21,227 条去重报告行**（18 个来源、128 个 raw benchmark 切片；其中 99 个切片出现在 mapped rows、724 个 source×原始模型名键）；其中 **21,129 条**带数值，**6,461 条**能以 exact/heuristic/curated alias 映射到目录（alias registry 当前 **129 条**显式 source-scoped 规则，产生 **2,830 条**curated rows）。这些 mapped rows 以本地默认 `--max-per-key 0` **全部载入** `public.json`/`evidence.jsonl`，覆盖 **2,750 个** mapped model×benchmark 单元（细分为 **3,064 个** model×benchmark×metric slices；270 条 telemetry 原始行对应 **240 个**仅证据 metric 单元，实际 performance slices 为 **2,824**）；**14,766 条**未安全映射行完整保存在 gitignored `data/public/unmapped.jsonl`，并由 `data/public/unmapped-summary.json` 按来源原名聚合索引（**1,591 个**原名组）。因默认不设上限，`alternatives.jsonl` 当前为空；需要轻量预览时可显式传入正数 cap。这不是删除，而是把无法安全归属的记录与可展示记录分层。
- 公开层的 performance 行进入可见矩阵；只有 system-scoped 行进入 System Runs，token、latency、eval/train count 等 telemetry 保留在证据索引但明确不进成绩。所有公开行始终带 `reported/unreviewed/verified:false/not_reproduced`，且不改变上面的 canonical 统计。因而页面看到的覆盖会明显高于 **0.5%**，但应理解为“公开报告覆盖”，不是本站复现率。
- Agents’ Last Exam 官方接口返回 **713 行** `model × harness × variant/effort × split`（两个核心 metric 共 **1,426 条**），现已进入公开层；同一模型的不同 harness、split 和 effort 会保留为不同 run，不取最高值冒充裸模型。Epoch AI 的可下载快照另带来 **5,697 条**跨 benchmark 报告行；不同表的单位（百分比、fraction、Elo、rank、raw score）在页面上分开显示，不强行归一化。

这解释了为什么“公开层覆盖率”和“canonical 覆盖率”必须分开：前者回答“外部已经报告
了什么”，后者回答“本站已经核对并愿意作为可复现事实维护什么”。

## 已连接的公开来源

当前 adapter 已覆盖或可读取以下来源。抓取结果先进入 candidate artifact；固定快照经
`build_public_evidence.py` 生成后，数值完整的安全映射行可直接作为 `reported` 展示，
仍不等于 approved：

- Hugging Face 上的 SWE-bench Verified/Pro、HLE、MMLU-Pro、GPQA、Terminal-Bench、AIME/HMMT 数据集榜单接口；接口发现和 leaderboard 数据约定见 [Hugging Face leaderboard data guide](https://huggingface.co/docs/hub/leaderboard-data-guide)。
- [LiveBench](https://github.com/livebench/livebench) 与 Stanford [HELM](https://crfm.stanford.edu/helm/index.html) 的公开结果。
- [Arena leaderboard dataset](https://huggingface.co/datasets/lmarena-ai/leaderboard-dataset)：包括 text、vision、webdev、search、document 和 agent 等历史/最新切片；Arena 还说明了其公开历史数据集的范围（[官方说明](https://arena.ai/blog/arena-leaderboard-dataset)）。Arena 的 Elo/偏好分、投票数和置信区间必须作为独立 system benchmark 保存，不能和 accuracy 混成总分。
- [Berkeley Function Calling Leaderboard (BFCL-V4)](https://gorilla.cs.berkeley.edu/leaderboard)：官方页面公开 `data_overall.csv`（本次抓取 109 行：67 native FC、35 Prompt、7 未注明），适配器保留固定 evaluator commit、成本/延迟和分类子指标；由于 calling mode 与工具协议是测量对象，候选进入 System Runs/待审核层。
- Agents’ Last Exam（ALE-V1）的 [官方说明](https://agents-last-exam.org/docs/ale/index.html)、[leaderboard](https://agents-last-exam.org/leaderboard) 与公开 JSON endpoint（[接口](https://agents-last-exam.org/api/demo/leaderboard)）。页面公开层会显示其报告值，详情中保留 split、harness、variant、locator 与抓取 hash。
- [Aider Polyglot](https://aider.chat/docs/leaderboards/) 的官方仓库 YAML、[OpenAI MLE-bench](https://github.com/openai/mle-bench/) README leaderboard，以及 [Epoch AI Benchmarking Hub](https://epoch.ai/benchmarks/use-this-data) 的 CC-BY 下载快照。三者都作为 `reported · 未复现` 展示；Epoch 的外部表保留原始许可和原始链接。
- [SWE-bench 官方 leaderboard 页面](https://www.swebench.com/) 的 [机器可读 JSON](https://raw.githubusercontent.com/swe-bench/swe-bench.github.io/master/data/leaderboards.json)（`swebench-official`）保留 bash-only、Verified、Multilingual 等 variant 以及 agent/scaffold、checked、cost 和 instance-call 字段；本次快照 370 行，其中 35 行安全映射、其余 alias 留在 unmapped 审计队列，全部标记 `reported · 未复现`。
- 目录 profile 还为 MathVista、Video-MME、RULER、LongBench v2 和 CyberGym 注册了各自的官方项目/论文链接；它们不再借用相邻 benchmark 的 homepage，详情抽屉会同时显示任务、数据切分、协议和 source locator。

## ALE 的正确建模

这里的 ALE 默认指 **Agents’ Last Exam**，不是单纯 model-only benchmark。官方定义的运行对象是 `Agent(harness) × Environment × Task`，并同时提供 Pass Rate（满分任务比例）与 Score（平均 partial-credit）。因此接入时应放在 **System Runs**：

`model release × endpoint × harness × effort/variant × ALE-V1 split`

至少保留 `pass_rate`、`score`、`runs/tasks`、split/track、harness、reasoning effort、cost、runtime、input/output tokens、retrieved_at 和来源 hash。不同 harness 或 split 不能取最高值后冒充模型分数；API 是公开可读接口，但页面没有承诺稳定 API，故仍需快照、parser 版本和人工审核。

**ALE-Bench 必须另列。** [SakanaAI/ALE-Bench](https://github.com/SakanaAI/ALE-Bench) 面向 AtCoder Heuristic Contest 的算法工程/优化问题，输出绝对分数、排名或性能，不是 Agents’ Last Exam 的 agent workflow 分数。另有 Arcade Learning Environment（[ALE 论文](https://arxiv.org/abs/1207.4708)）这一 Atari 强化学习含义，也不应与前两者共用 benchmark id。

## 已发现、但仍待接入或人工审核的重点 benchmark

以下项目有公开页面、代码、榜单或论文证据，但当前不应写成“已经纳入 canonical”；下一步应各自建立 versioned adapter/fixture，或先做人工快照：

| 优先级 | benchmark | 主要信息与接入注意事项 |
| --- | --- | --- |
| P0 | Agents’ Last Exam (ALE-V1) | 官方 system leaderboard；适配器已连接，公开层先显示 Pass Rate/partial Score，仍按 harness、effort、split 和模型 release 保留未复现标记。 |
| P0 | BFCL V4 | [Berkeley Gorilla leaderboard](https://gorilla.cs.berkeley.edu/leaderboard)；官方 CSV 适配器已连接（109 行公开报告），overall 是子类别未加权均值，详情保留 commit/version、calling mode 和 evaluator。 |
| P0 | BrowseComp | [OpenAI benchmark page](https://openai.com/index/browsecomp/)；1,266 个 browsing problems，需记录 agent/tool setting、effort 和评测日期。当前登记为 catalog-only：官方页面没有稳定 leaderboard API，后续以带日期的公开表或 provider report 作为 `reported` candidate。 |
| P0 | LiveCodeBench V6、Aider Polyglot | 时间切片、污染控制和 pass@1 不能与静态代码榜混合；Aider Polyglot 已接入官方仓库 YAML adapter（保留 edit format、版本与日期），结果仍为 `reported · 未复现`。 |
| P1 | Terminal-Bench 2.1、OSWorld、AndroidWorld | 真实环境/system benchmark；保留 harness、环境镜像、任务版本和预算。AndroidWorld 已登记 catalog-only，官方仓库列出任务、评测和 leaderboard：[Google Research AndroidWorld](https://github.com/google-research/android_world)。 |
| P1 | MLE-bench | [OpenAI repository](https://github.com/openai/mle-bench/)；README 主表已接入 adapter，按 Lite/Medium/High/All 拆列，保留 agent、LLM、运行时间、日期和 grading report 可用性；项目当前暂停新提交，结果仍标为 reported·未复现。 |
| P1 | Epoch Benchmarking Hub | [Epoch downloadable snapshot](https://epoch.ai/benchmarks/use-this-data)；ZIP 中的标准 benchmark、外部 leaderboard 和能力指数均保留原始文件/行定位。单位不一致的表显示为 `fraction`/`score`/`Elo`/`rank`，不参与跨指标排名。 |
| P1 | AssistantBench、GAIA、WebArena/BrowserGym | browsing/电脑使用 agent；AssistantBench 的公开入口见 [official site](https://assistantbench.github.io/)，需保留网页工具、成功定义和版本。 |
| P1 | ARC-AGI-2 | [ARC Prize official page](https://arcprize.org/arc-agi/2)；部分评测集/提交流程受限，不能把社区复现分数当作官方结果。 |
| P1 | ALE-Bench | 独立的算法工程 benchmark；单列 benchmark id、problem family、lite/full、hardware 和 judge version。 |
| P2 | FrontierMath、IMO-AnswerBench、Math-500、BBH、IFEval、HumanEval/MBPP、EvalPlus/BigCodeBench/MultiPL-E | 适合作为数学、推理和代码细分视图；需要防止旧版本、题目污染和不同 aggregation 被合并。 |
| P2 | τ-bench、Toolathlon、GDPval-AA、AutomationBench、CoWorkBench、CyberGym/ExploitBench | 重点是 tool、agent、安全或工作流协议；必须建成 System Runs，而不是普通模型列。 |
| P2 | RULER、LongBench v2、AA-LCR、C-Eval、CMMLU、SuperCLUE、MMMLU、视频/多模态系列 | 用于长上下文、中文和多模态分组；各自保留语言、模态、prompt、subset 与 judge。 |

“有公开页面”只说明可以建立 candidate，不等于已经完成可比性审查。尤其是 provider self-report、聚合站 intelligence index、动态 Arena 和截图，都需要回到原始协议与版本。

## 准入原则与补全顺序

一个结果进入 approved 前，必须能回答：这是哪个 canonical model release/endpoint？benchmark 的 version、split、metric、unit、direction 是什么？若是 agent，harness、scaffold、tools、environment、预算和 effort 是什么？observed/published/retrieved 日期是否分开？来源 locator、hash、许可证是否可追溯？在此之前，它仍可以作为 `reported` 进入页面，但必须保留原始名称、来源和“本站未复现”标识。

证据优先级为：benchmark owner 的官方榜单或可复现实验产物（A）→ provider model card/technical report（B）→ 协议完整的可信第三方榜单（C）→ 二手报道/截图（D，仅 candidate）。新数据采用追加式 observation；版本、协议或 snapshot 改变时新建记录，不覆盖旧值。

后续维护按以下顺序推进：

1. ALE、BFCL、Aider Polyglot、MLE-bench 与 Epoch Benchmarking Hub 适配器已完成；BrowseComp、AndroidWorld 已先纳入 benchmark/source catalog（明确 catalog-only 与抓取限制），待稳定机器可读表或许可的日期快照后再启用 candidate adapter，并把公开行批量转为可审核 candidate。
2. 再按当前 active/preview 模型补全 featured direct benchmarks，以及 GPT、Claude、Qwen、DeepSeek、Kimi、GLM、MiniMax、MiMo、小米等模型的同协议对照。
3. 最后扩展 flash/fast、小模型、数学、代码 agent、工具调用、多模态、长上下文、中文和开放权重等预设；旧模型保留历史记录，但从默认 frontier 视图淘汰。

详细的 candidate → public reported → approved 工作流、freshness 和 PR 审阅门槛见 [`docs/maintenance-plan.md`](maintenance-plan.md)；来源 adapter 接口见 [`docs/adding-source.md`](adding-source.md)。