大模型复合基准评估指标-AAII

大模型复合基准评估指标-AAII

Artificial Analysis Intelligence Index(AAII)是Artificial Analysis推出的一项综合性基准评分。

AAII旨在衡量和追踪大型语言模型的综合智能水平。

1 评分方式

AAII是一个复合基准分,通过加权平均多个单项评测得分,评估模型在推理、编程、知识、指令遵循、科学推理及多步骤任务执行等多方面的能力。得分从0到100分,AAII作为一个综合指标,防止模型在单一领域“偏科”,为追踪AI向通用人工智能(AGI)的进展提供一个统一的参考。

2 面向智能体

2026年6月15日,Artificial Analysis发布了Intelligence Index v4.1。此版本标志着评测重心向智能体负载的重大转变。

2.1 更新与重加权评测项

1)升级

Terminal-Bench Hard升级为更难的Terminal-Bench v2.1;将τ²-Bench Telecom升级为τ³-Bench Banking,以包含更真实的智能体场景。

2)替换

GDPval-AA升级为GDPval-AA v2,重新校准了评分基准。

3)移除

由于已无法有效区分前沿模型,移除了已饱和的IFBench基准。

2.2 新增指标

新增了单任务成本(Cost per Task)、单任务时间(Time per Task) 和单任务令牌数(Tokens per Task) 三个维度,为模型的实际应用提供更全面的参考。


3 评测构成与权重

根据最新论文,Intelligence Index v4.1由9项评测构成。

并分为四个大类,其中智能体(Agents)能力的权重最高。

类别权重包含的评测项
智能体 (Agents)34%GDPval-AA v2 (20%), ³-Banking (14%)
编程 (Coding)24%Terminal-Bench v2.1 (16%), SciCode (8%)
科学推理 (Scientific Reasoning)24%Humanity's Last Exam (12%), GPQA Diamond (6%), CritPt (6%)
通用 (General)18%AA-LCR (6%), AA-Omniscience (12%)

需要注意的是,v4.0版本曾包含10项评测,而v4.1版本移除IFBench后调整为9项。

4 最新排名表现

根据Artificial Analysis于2026年6月15日发布的数据:

1)整体领先

Claude Fable 5(使用Opus 4.8备选)以60分领跑,但该模型暂不可用。

在可用模型中,Claude Opus 4.8(得分56)领先于GPT-5.5(得分55)。

2)开源模型领先

在开源权重模型中,DeepSeek V4 Pro和MiniMax M3均以44分并列领先。

3)成本与效率:

最贵:Claude Opus 4.8完成一个智能指数任务的平均成本为1.78美元。

性价比高:DeepSeek V4 Pro的单任务成本仅为0.04美元,得分44分,其成本是GPT-5.5(0.99美元)的1/20,是Claude Opus 4.8的1/40。

速度最快:Grok 4.3完成单任务平均仅需1.5分钟。

5 相关指数

Artificial Analysis Intelligence Index是一个动态更新、旨在紧跟AI发展前沿的综合性评测体系,其最新版本v4.1显著加强了对模型执行复杂、多步骤“智能体”任务的考核。Artificial Analysis还提供其他专业指数:

1)Artificial Analysis Openness Index

一个衡量模型开放程度的复合指标,评估在权重、训练数据、架构等方面的可用性和透明度。

2)Agentic Index

专门衡量模型在智能体工作流中的表现,如工具使用、规划、自主性等。

3)行业特定指数

2026年7月,Artificial Analysis还推出了针对金融、法律和医疗等专业领域的六个新AI能力指数。

reference

---

Comparison of Models: Intelligence, Performance & Price Analysis

https://artificialanalysis.ai/models

Qwen3.5: Towards Native Multimodal Agents

https://qwen.ai/blog?id=qwen3.5

Qwen3 Technical Report

https://arxiv.org/abs/2505.09388