近几年，大模型推动人工智能技术迅猛发展，极大地拓展了机器智能的边界，展现出通用人工智能的“曙光”。如何准确、客观、全面衡量当前大模型能力，成为产学研用各界关注的重要问题。设计合理的任务、数据集和指标，对大模型进行基准测试，是定量评价大模型技术水平的主要方式。大模型基准测试不仅可以评估当前技术水平指引未来学术研究，牵引产品研发、支撑行业应用，还可以辅助监管治理，也有利于增进社会公众对人工智能的正确认知，是促进人工智能技术产业发展的重要抓手。全球主要学术机构和头部企业都十分重视大模型基准测试,陆续发布了一系列评测数据集、框架和结果榜单,对于推动大模型技术发展产生了积极作用。然而，随着大模型能力不断增强和行业赋能逐渐深入，大模型基准测试体系还需要与时俱进，不断完善。

本研究报告首先回顾了大模型基准测试的发展现状，对已发布的主要大模型评测数据集、体系和方法进行了梳理，分析了当前基准测试存在的问题和挑战，提出了一套系统化构建大模型基准测试的框架--“方升”大模型基准测试体系，介绍了基于“方升”体系初步开展的大模型评测情况，并对未来大模型基准测试的发展趋势进行展望面向未来。

大模型基准测试发展概述

近几年，大模型推动人工智能技术迅猛发展，极大地拓展了机器智能的边界，展现出通用人工智能的“曙光”，全球各大科技巨头和创新型企业纷纷围绕大模型加强布局。如图1所示，2018年，谷歌公司提出基于 Transformer实现的预训练模型BERT，在机器阅读理解水平测试 SQuAD 中刷新记录。同年，OpenAI公司发布了第一代生成式预训练模型 GPT-1，擅长文本内容生成任务。随后几年，OpenAI相继推出了GPT-2和GPT-3，在技术架构、模型能力等方面进行持续创新。2022年11月，OpenAI发布的ChatGPT在智能问答领域上的表现引起产业界轰动。除了大语言模型，2023年，OpenAI还发布了多模态大模型 GPT-4。同期国内大模型的发展也呈现不断加速态势，已经发布了华为“盘古”、百度“文心一言”、阿里“通义千问”、腾讯“混元”和智谱“清言”等200 多个通用和行业大模型产品。

随着大模型产品的不断推出，对大模型的能力进行评测逐渐成为产业界关注的重点。1950年代提出的图灵测试(TuringTesting)作为一种经典的人工智能测试方法，一直被认为是衡量机器智能水平的“试金石”。2023年7月《自然(Nature)》发表文章《ChatGPTbrokethe Turing test -the race is on for new ways to assess AI》，指出图灵测试已经无法满足大模型的评测要求，应该探索新方法来评估人工智能水平。

大模型基准测试(Benchmark)的目标是通过设计合理的测试任务和数据集来对模型的能力进行全面、量化的评估。大模型基准测试体系涵盖了大模型的测评指标、方法、数据集等多项关键要素，是指导大模型基准测试落地实践的规范。

来源：中国信通院

免责声明：我们尊重知识产权、数据隐私，只做内容的收集、整理及分享，报告内容来源于网络,报告版权归原撰写发布机构所有，通过公开合法渠道获得，如涉及侵权，请及时联系我们删除，如对报告内容存疑，请与撰写、发布机构联系