在此前公布的全球权威 自然语言处理领域 - 复杂语言理解测试S uperGLUE 中 ， 武汉大学-京东可信人工智能联合研究中心 组成梦之队(JDExplore Dream Team, d-team)参与其中 ， 其提出的升级版织女模型V ega v2， 超越同场竞技的谷歌 、 微软 、 O penAI 等业界顶尖企业 ， 以总平均分 91 . 3 分登顶S uperGLUE 榜首 ， 再次刷新复杂语言理解技术世界记录 。

 

 

图1 SuperGLUE成绩排名表

值得提及的是，测试中织女Vega v2模型在八个子任务中的四个单项任务，即自然语言推理任务CB(CommitmentBank)、文本蕴含任务RTE(Recognizing Textual Entailment)、因果推理任务COPA (Choice of Plausible Alternatives)和指代消解任务WSC(Winograd Schema Challenge)中均位列第一。需要强调的是，织女Vega v2模型凭借60亿参数量规模大幅超过谷歌提出的5400亿超大模型PaLM的复杂语言理解性能，充分证明了武汉大学-京东可信人工智能联合研究中心自然语言理解技术水平在超级深度学习领域的全球领先地位。

 

图2 SuperGLUE任务功能展示

本次夺冠的织女模型Vega v2在此前提出的Vega v1模型（15亿参数，GLUE榜单冠军）基础上进行升级，规模更大、性能更强。不同一昧的扩大模型规模，Vega v2采用一种高效的自进化学习方法，充分挖掘预训练数据中蕴含的语义知识，以进一步激发模型自然语言理解性能，从而在有限的模型规模下即可训练得到高性能语言模型。此外，为了实现模型的快速部署，团队还针对大规模语言模型提出了一种基于知识蒸馏的提示学习算法，通过仅更新额外的5%模型参数即可实现大模型的有效任务迁移。

 

图3 Vega v2模型训练方法

武汉大学-京东可信人工智能联合研究中心是由武汉大学与京东联合成立的科研机构，以从基础理论层面实现颠覆式创新为目标，共同开展科学研究与人才培养，研究领域包括可信人工智能、量子机器学习、超级深度学习及其他人工智能涉及的理论与技术。自2021年联合研究中心成立以来，已发表SCI一区/CCF A类期刊或会议等高水平研究论文40余篇，在ICCV2021多目标跟踪竞赛的深度+视频大赛与全球自然语言处理领域顶级测试GLUE大赛中取得世界第一佳绩。

 

主要完成人员：钟起煌（武汉大学）、丁亮（京东探索研究院）、刘菊华（武汉大学）、杜博（武汉大学）、陶大程（京东探索研究院、悉尼大学）

SuperGLUE比赛官网地址：https://super.gluebenchmark.com/

模型技术报告以及相关工作论文：

[1] Toward Efficient Language Model Pretraining and Downstream Adaptation via Self-Evolution: A Case Study on SuperGLUE https://arxiv.org/pdf/2212.01853.pdf

[2] Panda: Prompt transfer meets knowledge distillation for efficient model adaptation https://arxiv.org/pdf/2208.10160.pdf