近日,在2024中国移动全球合作伙伴大会期间,中国移动携手工信部中国电子技术标准化研究院、中国电信、国家电网、中国石油、科大讯飞等产业各方共同发布了大模型评测体系建设的新成果——《通用大模型评测标准》,为产业界遴选优质AI大模型提供重要参考依据。
中国移动董事长杨杰在大会上表示,当今,以数智化为主要特征的新一轮科技革命和产业变革深入发展,数据、算力、人工智能成为新质生产力的重要驱动因素。AI加速发展,为千行百业、千家万户注智赋能,将有力推动融合创新、信息消费不断跃升,引领经济社会从“互联网+”“5G+”迈向“AI+”。
据了解,大模型评测是助力人工智能赋能行业应用的重要一环。当前众多企业已启动大模型建设,亟需建立配套的通用大模型和行业大模型评测体系。中国移动联合电子标准院、央企及产业各方初步完成通用大模型评测标准制定。
据介绍,此次发布的评测标准基于“2-4-6”框架:“2”代表两类评测视角,以重点行业实际使用需求为导向,将评测任务划分为理解和生成两类视角;“4”代表四类评测要素,从评测全生命周期中提取出评测工具、评测数据、评测方式和评测指标四类关键要素;“6”代表六大评测维度,综合考虑大模型应用过程中的核心能力。该标准广泛吸纳产学研用各方意见,并结合行业特色场景需求,可为通用大模型全面评估提供客观依据和重要参考。
下一步,中国移动将联合产学研用各方,深入挖掘石油、电力、交通和物流等重点行业应用需求,持续打造并完善通用及行业大模型评测体系,助力国产大模型高质量发展。