一言不合就跑分，国内AI大模型为何沉迷于“刷榜”

“不服跑个分”这句话，我相信关注手机圈的朋友一定不会感到陌生。例如，安兔兔、GeekBench等理论性能测试软件因为能够在一定程度上反映手机的性能，因此备受玩家的关注。同样地，在PC处理器、显卡上也有相应的跑分软件来衡量它们的性能

既然"万物皆可跑分"，目前最火爆的AI大模型也开始参与跑分比拼，尤其是在"百模大战"开始后，几乎每天都有突破，各家都自称为"跑分第一"

国产AI大模型在性能评分方面几乎从未落后，但在用户体验方面却始终无法超越GPT-4。这就引发了一个问题，即在大促销售节点，各手机厂商总能够宣称自家产品“销量第一”，通过不断增加定语，将市场细分再细分，让每个人都有机会成为第一，但在AI大模型领域，情况却不同。毕竟，它们的评估标准基本上是统一的，其中包括MMLU（用于衡量多任务语言理解能力）、Big-Bench（用于量化和外推LLMs的能力），以及AGIEval（用于评估应对人类级任务的能力）

目前在国内常被引用的大型模型评测榜单有SuperCLUE、CMMLU和C-Eval。其中，CMMLU和C-Eval是由清华大学、上海交通大学和爱丁堡大学合作构建的综合性考试评测集。而CMMLU则是由MBZUAI、上海交通大学和微软亚洲研究院共同推出。至于SuperCLUE，则是由各大高校的人工智能专业人士共同编写的

以C-Eval为例，在9月初的榜单上，云天励飞大模型 " 云天书 " 排在第一、360排第八，GPT-4却只能排在第十名。既然标准是可量化的，为什么会出现反直觉的结果呢？大模型跑分榜单之所以会呈现出“群魔乱舞”的景象，其实是目前评价AI大模型性能的方法有局限性，它们是用“做题”的方式来衡量大模型的能力。

众所周知，智能手机的SoC、电脑的CPU和显卡为了保护自身寿命，在高温情况下会自动降频，而低温则能提升芯片性能。因此，有些人会将手机放入冰箱中，或者为电脑配备更强大的散热系统来进行性能测试，通常能得到比正常状态下更高的成绩。此外，各大手机厂商也会进行“专属优化”，针对各类跑分软件，这已经成为他们的标准操作了

同样道理，人工智能大模型的评分以做题为核心，自然会有一个题库。没错，国内一些大模型在不断上榜的原因就在于这一点。由于各种原因，目前各大大模型榜单的题库对厂商几乎是单向透明的，也就是出现了所谓的“基准泄露”。例如，C-Eval榜单在刚上线时就有13948道题目，并且由于题库有限，出现了让某些不知名大模型通过刷题的方式“通关”的情况

大家可以想象一下，在考试之前，如果偶然看到了试卷和标准答案，然后突击背题，考试成绩将会大幅度提高。因此，将大模型榜单预设的题库加入训练集，这样一来大模型就成为了拟合基准数据的模型。而且，目前的LLM本身就以出色的记忆力而著称，背诵标准答案简直就是小菜一碟

通过这一方式，小尺寸模型在跑分中也能拥有比大尺寸模型更好的结果，部分大模型取得的高分就是在这样的“微调”下实现。人大高瓴团队在论文《Don't Make Your LLM an Evaluation Benchmark Cheater》中，就直白地指明了此类现象，而且这种投机取巧的做法对于大模型的性能反而是有害的。

高瓴团队的研究人员发现，基准泄漏会导致大模型跑出夸张的成绩，例如1.3B的模型可以在某些任务上超越10倍体量的模型，但副作用就是这些专门为“应试”设计的大模型，在其他正常测试任务上的表现会受到不利影响。毕竟想想也能知道，AI大模型本来应该是“做题家”、却变成了“背题家”，为了获得某榜单的高分，去使用该榜单特定的知识和输出样式，肯定就会误导大模型。

训练集、验证集、测试集的不交叉显然只是理想状态，毕竟现实很骨感，数据泄露问题从根源上就几乎不可避免。随着相关技术的不断进步，当下大模型的基石Transformer结构的记忆和接收能力在不断提升，今年夏季微软研究院General AI的策略就已经实现了让模型接收1亿Tokens、而不会产生无法接受的遗忘。换而言之，未来AI大模型很有可能具有读取整个互联网的能力。

即使抛开技术进步，单纯以当下的技术水平，数据污染其实也难以规避，因为优质数据总归是稀缺、且产能有限的。AI研究团队Epoch在今年年初发表的论文就表明，AI不出5年就会把人类所有的高质量语料用光，而且这一结果是其将人类语言数据增长率，即全体人类未来5年内出版的书籍、撰稿的论文、编写的代码都考虑在内，所预测的结果。

如果一个数据集适合用于评估的话，那么它在预训练方面肯定也能够发挥更好的作用。例如，OpenAI的GPT-4就使用了权威的推理评估数据集GSM8K。因此，目前在大型模型评估领域存在一个尴尬的问题，大型模型对数据的需求似乎没有止境，这导致评估机构必须比人工智能大型模型制造商更快、更远地前进。然而，现如今评估机构似乎根本没有能力做到这一点

至于说为什么某些厂商会在大模型跑分上格外上心，纷纷去操作刷榜呢？其实这一行为背后的逻辑，就与App开发者给自家App的用户量注水一模一样。毕竟App的用户规模是衡量其价值的关键要素，而在当下这个AI大模型的起步阶段，评测榜单的成绩几乎就是唯一一个相对客观的评判标尺，毕竟在大众的认知里跑分高就等于性能强。

当刷榜可能带来强烈的宣传效应，甚至可能会为融资打下基础的情况下，商业利益的加入就必然会驱使AI大模型厂商争先恐后去刷榜了。

以上是一言不合就跑分，国内AI大模型为何沉迷于“刷榜”的详细内容。更多信息请关注PHP中文网其他相关文章！