Frontier Model Bench 一个可追溯的模型评测索引
curated snapshot

LONG-HORIZON AGENTS / 004

任务要走得远,
尺子也要有出处。

这是一个独立的一手来源 crosswalk:把科学研究、代码工程、终端、浏览器、电脑操作和工具工作流里的长程 benchmark 放在一起查。这里回答“我们覆盖了哪些尺子”,不把不同题集拼成一个总榜。

READING RULEORIGIN FIRST
coverage ≠ score

“已覆盖”只表示本站已有 canonical 条目;“外部快照”表示有公开记录但尚未形成本站 campaign。每张卡都列出项目方原始仓库、论文、数据集或官方榜单。

NatureBench、LHTB、TB-Science 等研究与长程条目独立登记。
TRACKED BENCHMARKS—独立登记的 benchmark / family
CANONICAL—本站已有定义,可继续查成绩
EXTERNAL SNAPSHOT—有公开切片,尚未 canonicalize
TO ADD—已找到一手定义,本站尚未收录
SCIENTIFIC / RESEARCH—研究、复现与科学编程

01 / COVERAGE MAP

先看覆盖边界,
再看分数。

目录把 benchmark 定义、运行结果和 agent 实现拆开。一个项目可以有原始论文和代码,但仍然是本站的“待收录”;反过来,canonical 也不代表当前有成绩。

CANONICAL已有本站 canonical profile
EXTERNAL只有公开 snapshot / 聚合记录
TO ADD一手定义已找到,尚未登记

02 / DIRECTORY

Long-horizon benchmark crosswalk

按领域、覆盖状态、任务跨度和影响力筛选。所有原始链接直接指向项目方或论文,不用二手榜单替代 owner。

— / — entries

03 / AGENT SOURCES

Agent / harness 原始地址

这些是执行 benchmark 的 agent runtime 或 harness,不是 benchmark 本身。模型(例如腾讯混元 Hy3 / Hy4)另在 Models 记录;成绩仍要绑定具体 release、配置、预算和环境。

— first-party agents

04 / METHOD

把长程拆成可审计的链条。

长程不是“上下文更长”这么简单。真正影响结果的是状态是否持久、工具是否可用、checker 是否隐藏、预算如何消耗,以及失败后能否恢复。本站暂不把不同 benchmark 的 solved rate、Elo 或 research score 合成一条排名。

origin-linkedversion-awarestatefulmissing ≠ zero
01Define任务 / 版本 / owner
→
02Runagent / tools / budget
→
03Verifychecker / artifact / status