02 / BENCHMARK SUITES

问题集不是一张名单,
而是一组证据边界。

实例库、竞赛、持续跑榜、生成器和历史档案分别建模。默认按影响力层级和可核验信号排序,不制造伪精确总分。

A12 个核心标准
B14 个重要专项
C7 个广义优化集合
两个评分轴,互不替代

Impact tier 看历史地位、机构治理、采用和维护年限;Evidence readiness R0–R3 看协议、checker、版本、日志、硬件和公开实例是否足够完整。

33 / 33
01A
Campaign series / 持续跑榜R3

Hans Mittelmann Benchmarks

它不是一个实例库。每个赛道、日期、机器与协议必须拆成独立 campaign;商业结果撤回或停止发布要保留具体原因。

LPMILPQP · QCQPSOCP · ConicSDPLocal NLPGlobal NLP · MINLPTSP · VRP
VERSION / SCOPE多 campaign;官方页截至 2026-08
GOVERNANCEHans D. Mittelmann, Arizona State University
IMPACT SIGNALS5 verified
02A
Challenge / 竞赛R2

DIMACS Implementation Challenges

系列页只是 archive 导航;禁止合并不同届的规则或结果。

LPSDPCP · SAT · PBTSP · VRPNDP · Steiner
VERSION / SCOPEChallenges 1–13; 13th runs 2026–2027
GOVERNANCEDIMACS, Rutgers University
IMPACT SIGNALS5 verified
03A
Suite / 实例库R2

CUTEst / SIF

问题名不足以唯一确定实例;参数化维度、decoder 和起点都必须进入 instance_set。

LPQP · QCQPLocal NLPGlobal NLP · MINLP
VERSION / SCOPECUTEst 2.7.1; SIF snapshot
GOVERNANCERAL Numerical Analysis / Gould, Orban, Toint
IMPACT SIGNALS5 verified
04A
Suite / 实例库R2

MINLPLib

适合作为实例与参考解来源,性能结果仍必须来自固定 campaign。

Local NLPGlobal NLP · MINLPMILPQP · QCQP
VERSION / SCOPEsnapshot 168bf3d2; 2026-07-29
GOVERNANCEStefan Vigerske
IMPACT SIGNALS5 verified
05A
Suite / 实例库R3

PGLib-OPF

连接通用 NLP/MINLP 与电力系统应用赛道的关键库。

Local NLPGlobal NLP · MINLPNDP · Steiner
VERSION / SCOPEv23.07
GOVERNANCEIEEE PES Task Force
IMPACT SIGNALS5 verified
06A
Suite / 实例库R2

QPLIB

连接 QP、MIQP、QCQP、MIQCQP 和 QUBO taxonomy 的核心集合。

QP · QCQPMILP
VERSION / SCOPE453 retained instances; 2026-08-07
GOVERNANCEQPLIB Committee / ZIB
IMPACT SIGNALS5 verified
07A
Suite / 实例库R3

MIPLIB 2017

第六代 MIPLIB,也是建立高证据等级 MILP campaign 的首选实例快照。

MILP
VERSION / SCOPEbenchmark archive v2; scripts v1.0.4
GOVERNANCEMIPLIB Committee / ZIB
IMPACT SIGNALS5 verified
08A
Suite / 实例库R3

CVRPLIB

普通 collection 与 BKS Challenge 是相关但不同的实体。

TSP · VRP
VERSION / SCOPEactive portal; 2026 BKS Challenge
GOVERNANCEGalgos, PUC-Rio
IMPACT SIGNALS5 verified
09A
Archive / 历史集合R1

OR-Library

必须按子集合拆 profile,不能把异构格式和结果视为一个 suite。

LPMILPTSP · VRPRCPSP · JSSPBPP · CSPNDP · Steiner
VERSION / SCOPEhistorical archive; updated through 2018
GOVERNANCEJ. E. Beasley
IMPACT SIGNALS4 verified
10A
Suite / 实例库R1

Netlib LP

价值在历史可比性,不代表现代超大规模 LP 的难度分布。

LP
VERSION / SCOPE稳定历史档案
GOVERNANCENetlib / David M. Gay
IMPACT SIGNALS4 verified
11A
Suite / 实例库R2

Maros–Mészáros QP

凸 QP active-set 与 interior-point 研究的经典公共基线。

QP · QCQP
VERSION / SCOPE稳定历史档案
GOVERNANCEIstván Maros and Csaba Mészáros
IMPACT SIGNALS4 verified
12A
Suite / 实例库R2

TSPLIB 95

距离类型是协议的一部分;不能默认按欧氏距离重新计算。

TSP · VRP
VERSION / SCOPEstable TSPLIB95
GOVERNANCEGerhard Reinelt / Heidelberg University
IMPACT SIGNALS4 verified
13B
Challenge / 竞赛R3

MiniZinc Challenge

不同 division、single-core 与 parallel 绝不合并。

CP · SAT · PBMILPRCPSP · JSSPTSP · VRPBPP · CSP
VERSION / SCOPEannual; 2026 uses MiniZinc 2.9.7
GOVERNANCEMiniZinc Challenge organizers
IMPACT SIGNALS5 verified
14B
Challenge / 竞赛R3

ROADEF/EURO Challenge

每届、每阶段、public/hidden set 和 checker 版本分别建模。

NDP · SteinerTSP · VRPRCPSP · JSSPBPP · CSP
VERSION / SCOPEbiennial; 2026 Keep the Flow!
GOVERNANCEROADEF and EURO with industrial partners
IMPACT SIGNALS5 verified
15B
Suite / 实例库R2

S2MPJ

易接入实验入口,但不是 CUTEst 之外的新问题来源。

LPQP · QCQPLocal NLPGlobal NLP · MINLP
VERSION / SCOPEactive repository
GOVERNANCESerge Gratton and Philippe L. Toint
IMPACT SIGNALS5 verified
16B
Suite / 实例库R3

GasLib

network、nomination/scenario 与 schema version 都是快照键。

Global NLP · MINLPNDP · Steiner
VERSION / SCOPE9 networks; updated 2024
GOVERNANCEGasLib consortium / ZIB
IMPACT SIGNALS5 verified
17B
Archive / 历史集合R1

SIPLIB

格式与解覆盖异构,需逐子集合 ingest。

SP · RO · MOOMILPNDP · Steiner
VERSION / SCOPE114 instances; 2015 archive
GOVERNANCEShabbir Ahmed, Georgia Tech
IMPACT SIGNALS4 verified
18B
Suite / 实例库R2

CBLIB

SOCP/MISOCP 的专门实例与格式入口。

SOCP · ConicMILP
VERSION / SCOPE2014+ additions
GOVERNANCEFriberg / Gleixner; ZIB
IMPACT SIGNALS4 verified
19B
Suite / 实例库R2

SNDlib

保留 topology、traffic model 和来源元数据。

NDP · SteinerTSP · VRP
VERSION / SCOPE26 networks
GOVERNANCEPoznań University of Technology
IMPACT SIGNALS4 verified
20B
Suite / 实例库R1

SDPLIB

重要 legacy archive,许可和站点可用性需持续监测。

SDP
VERSION / SCOPE1.2
GOVERNANCEBrian Borchers
IMPACT SIGNALS4 verified
21B
Suite / 实例库R2

PSPLIB

按 single-mode、multi-mode 与 resource-investment 分开。

RCPSP · JSSP
VERSION / SCOPEJ30/J60/J90/J120 families
GOVERNANCETUM Operations Management
IMPACT SIGNALS4 verified
22B
Suite / 实例库R2

SteinLib

应作为 network design 专赛道,而不是笼统 MILP。

NDP · Steiner
VERSION / SCOPEarchive updated 2015
GOVERNANCEKoch, Martin, Rehfeldt, Voß
IMPACT SIGNALS4 verified
23B
Suite / 实例库R2

Biq Mac Library

QPLIB 之外更专注组合二次优化的基线。

QP · QCQP
VERSION / SCOPEstable archive
GOVERNANCEAngelika Wiegele
IMPACT SIGNALS4 verified
24B
Suite / 实例库R2

QAPLIB

维护较弱但仍是 QAP 算法比较事实标准。

QP · QCQP
VERSION / SCOPEstable archive
GOVERNANCEBurkard, Çela, Karisch, Rendl et al.
IMPACT SIGNALS4 verified
25B
Suite / 实例库R2

BPPLIB

BPP 与 CSP 是相邻但不同的赛道。

BPP · CSP
VERSION / SCOPEmaintained repository
GOVERNANCEDelorme, Iori, Martello
IMPACT SIGNALS4 verified
26B
Archive / 历史集合R2

2DPackLib

它是异构 archive 聚合器,不是单一同质 suite。

BPP · CSP
VERSION / SCOPEabout 20 families
GOVERNANCEUniversity of Bologna OR group
IMPACT SIGNALS4 verified
27C
Challenge / 竞赛R3

COCO / BBOB

预算与 target-based curves 是主轴,不能用 OR solved-count 表替代。

DFO · BBO
VERSION / SCOPEversioned COCO releases
GOVERNANCECOCO/BBOB community
IMPACT SIGNALS4 verified
28C
Suite / 实例库R1

MacMPEC

适合作为 MPEC 专门 profile,而不是一般 NLP 排名。

Local NLPGlobal NLP · MINLP
VERSION / SCOPEhistorical archive
GOVERNANCEMacMPEC project
IMPACT SIGNALS3 verified
29C
Challenge / 竞赛R2

CEC Optimization Competitions

不同年份函数、维度、预算和评分不可合并。

DFO · BBOSP · RO · MOO
VERSION / SCOPEedition-specific
GOVERNANCEIEEE CEC organizers
IMPACT SIGNALS3 verified
30C
Generator / 生成器R1

ZDT

历史影响大但规模和现代代表性有限。

SP · RO · MOODFO · BBO
VERSION / SCOPEpaper-defined family
GOVERNANCEZitzler, Deb and Thiele
IMPACT SIGNALS3 verified
31C
Generator / 生成器R1

DTLZ

评价需包含 hypervolume/IGD 与 reference front,不等同单目标 gap。

SP · RO · MOODFO · BBO
VERSION / SCOPEpaper-defined family
GOVERNANCEDeb, Thiele, Laumanns and Zitzler
IMPACT SIGNALS3 verified
32C
Suite / 实例库R1

COPS

用于补足大规模结构化 NLP,但协议和维护弱于 CUTEst。

Local NLP
VERSION / SCOPEstable historical collection
GOVERNANCEArgonne / NEOS-era research collection
IMPACT SIGNALS3 verified
33C
Suite / 实例库R2

Moré–Wild

应按函数评估预算、维度和起点生成 data profiles。

DFO · BBO
VERSION / SCOPEstable paper collection
GOVERNANCEJorge Moré and Stefan Wild
IMPACT SIGNALS3 verified
SORT CONTRACT

Impact tier A→B→C → 已核验影响力信号数 → 覆盖广度 → 最近核验日期。这里没有隐藏总分。