再突破！腾讯“混元”AI大模型登顶视觉常识推理VCR榜单

5月31日，腾讯"混元"AI大模型在多模态理解领域国际权威榜单VCR（视觉常识推理，Visual Commonsense Reasoning）中登顶，两个单项成绩和总成绩均位列第一。

据了解，这是继在跨模态检索领域大满贯、CLUE自然语言理解分类榜及CLUE总榜登顶后，"混元"AI大模型的又一重大突破，展现了其在多模态理解领域的强大实力。

与跨模态理解任务不同的是，多模态理解任务要求计算机除了做到识别层次的感知（如分类检测等），还需要达到认知层次的感知（如判断意图、逻辑推理等），具备和人类一样的思考能力。

视觉常识推理VCR（Visual Commonsense Reasoning）作为多模态理解核心任务之一，由华盛顿大学等研究机构于 2018 年发起，自举办以来吸引了众多知名高校、企业和研究机构参加，已成为国际上最权威的多模态理解领域榜单。

此次登顶VCR榜首的“混元”AI大模型由腾讯广告多媒体AI团队自主研发，同时借助腾讯太极机器学习平台的GPU算力和训练加速框架，该模型在预训练任务、训练方式上进行了诸多的创新改进和设计，有效提升了模型性能。

训练任务方面，“混元”AI大模型基于视觉场景图预测任务（VSGP）进行细粒度的建模学习，能够获取更丰富的视觉语义信息；交互层面，“混元”采用全局+局部注意力的方式，能够在有限训练成本的情况下达到最大化的学习效率。

在训练方式上，“混元”AI大模型在预训练阶段、微调阶段增加对抗训练，提升模型的泛化性能，增强该模型在下游任务上的性能。基于此，“混元”多模态理解大模型在图文跨模态检索、视觉问答等多个理解任务上都取得了明显的效果提升，并最终在VCR上登顶榜首。

截至目前，“混元”AI大模型在MSR-VTT、MSVD、CLUE、VCR等多个领域的AI权威榜单中取得第一名的成绩，并刷新多项行业历史纪录。这意味着，“混元”在自然语言理解、多模态理解、跨模态理解等领域的技术实力已经得以验证。

据悉，“混元”已应用到腾讯广告业务中的多个场景，有效提升广告推荐精准度，提升用户体验和推荐效果。未来腾讯“混元”AI大模型研发团队也将持续加强对模型的性能优化及迭代，使其发挥更大的学术价值和社会价值。

雷峰网(公众号：雷峰网)