大模型榜单，能不能信？

摘要

本文针对当前AI领域大模型榜单泛滥的现象进行深度分析。文章探讨了各类大模型评测排行榜（如MMLU、C-Eval等）的局限性，指出榜单结果可能受到评测数据集污染、评测基准设计不合理、模型针对性优化等因素影响。文章同时讨论了榜单排名与实际应用表现之间的差异，以及学术界和产业界对榜单权威性的争议，旨在提醒用户理性看待大模型榜单，不要盲目迷信排名。

为何重要

• •揭示大模型评测体系存在的系统性偏差，帮助行业从业者更理性地评估模型能力
• •推动AI评测基准的改进，促使建立更科学、更贴近实际应用的评估标准
• •提醒企业在模型选型时需结合业务场景，而非单纯依赖榜单排名
• •引发对AI领域‘内卷式’排名竞赛的反思，促进行业健康发展