AI评测的困境：一个总分能代表多少能力？

提高分数不易，决定衡量什么更难

让模型在既定指标上得分更高，虽然成本高昂，却已有相对清晰的优化路径。更难的问题是：究竟应该优化哪些指标，才能代表AI能力的真正进步？

独立评测并不只是运行测试、核实分数。在模型快速迭代的环境中，评测者还要选择任务、设计权重，并让结果既符合实际使用体验，又有足够的前瞻性，不至于几个月后就失去意义。

这构成了评测者的核心困境：为了便于传播、报告和比较，复杂能力必须被压缩成一个数字；但任何汇总方式，都不可避免地包含取舍。

Artificial Analysis v5如何分配权重

Artificial Analysis智能指数v5将评测划分为四个领域，各占总分的25%。具体构成为：

领域	总权重	子项及其占总分的权重
知识工作	25%	AA-Briefcase：15%；AutomationBench-AA：5%；GDP.pdf：5%
编程	25%	FrontierCode 2.0：15%；Terminal-Bench 4.0：10%
科学	25%	Terminal-Bench-Science：15%；CritPt v2高难度子集：10%
通用能力	25%	AA-Omniscience v1.1：15%，其中准确性10%、非幻觉表现5%；HLE-Diamond：10%

这一设计试图反映现实使用需求。但四大领域等权，并不意味着已经解决了代表性问题：每个领域内部测什么、如何测试，仍然决定了总分的含义。

“现实使用”并不是一种统一任务

模型能力参差不齐，实际使用需求也同样如此。

编程是已经得到较充分验证的应用场景，文中判断开放模型在这一领域更具竞争力；对于知识工作，文中则持更谨慎的态度。这种差异很难用一个统一分数完整呈现。

同时，不同评测可能在回答不同的问题：

• 能力上限有多高？ 关注模型在开放式任务中，配合特定智能体运行框架所能达到的前沿水平。
• 特定工作能否反复完成？ 关注模型在重复性智能体任务中所需的具体技能。

这两类能力存在交集，但并不等同。文中的判断是，v5更偏向衡量能够参与开放式任务的通用智能体协作者，而不是仅衡量成熟流程中的专项表现。

前沿能力与实际经济价值，可能并不同步

如果评测重点追踪前沿模型正在进入的新任务领域，开放模型与闭源模型之间呈现出的差距可能扩大。这可以是一种合理选择，但它也有边界。

随着开放模型支持的既有工作流逐渐成为重要的经济活动，仅关注前沿能力的指数，可能无法充分反映这些工作流的价值。

因此，“谁在前沿评测中领先”与“谁在某类成熟业务中更有用”，不能直接画等号。

总分有用，但不能替代能力画像

独立评测的价值不应被低估。它为模型比较提供了共同尺度，也会影响市场判断，甚至引导模型开发者的优化方向。正因如此，指标选择和权重分配才格外重要。

这篇讨论的核心并不是否定综合指数，而是指出其边界：语言模型的能力范围不断扩大，单一智能指数越来越难以承担全部解释任务。

阅读榜单时，除了关注总分，还需要理解它测量了哪些任务、偏重哪种使用方式，以及遗漏了哪些已经有实际价值的能力。