张钹、朱军团队获得 ICLR 2022 杰出论文奖！

作者｜Ailleurs

今日，ICLR2022在官网上公布了杰出论文奖评选结果，共有7篇论文获奖，国内上榜高校包括清华大学、中国人民大学、浙江大学、重庆大学，国外上榜高校和机构有谷歌研究院、安特卫普大学、斯坦福大学、康奈尔大学、多伦多大学、DeepMind等。

今年ICLR共有3391篇投稿，接收1095篇，接收率为32.3%，其中包括54篇论文被接收为Oral，176篇论文被接收为Spolight，7篇论文因其卓越的条理性、洞察力、创造力和潜在的持久影响力荣获杰出论文奖。其中，华人一作论文共有3篇，张钹院士、朱军教授等人合作的论文获得杰出论文奖。另有3篇论文获得杰出论文荣誉提名。

张钹院士、朱军教授等人合作的获奖论文为《Analytic-DPM: an Analytic Estimate of the Optimal Reverse Variance in Diffusion Probabilistic Models》。

论文地址：https://openreview.net/pdf?id=0xiJLKH-ufZ

这项工作的获奖理由：

扩散概率模型（Defusion probabilistic model，DPM）是一类功能强大的生成模型，是机器学习领域中一个快速发展的研究课题。本文旨在解决 DPM 模型固有的局限性，即DPM 模型中最优反向方差的计算速度缓慢且成本昂贵。作者首先展示了一个令人惊讶的结果，即 DPM 的最优反向方差和相应的最优 KL 散度都有其得分函数的解析形式。然后，他们提出了新颖且优雅的无训练推理框架：Analytic-DPM，使用蒙特卡罗方法和预训练的基于得分模型来估计方差和 KL 散度的分析形式。

这篇论文在理论贡献（表明 DPM 的最优反向方差和 KL 散度都具有解析形式）和实际益处（提出适用于各种 DPM 模型的免训练推理）方面都具有重要意义，并且很可能影响未来的 DPM 研究。

图注：张钹

张钹，清华大学计算机系教授，中国科学院院士，CCF 会士，2014 CCF 终身成就奖获得者，中国人工智能领域奠基人之一。曾任校学位委员会副主任，现任微软亚洲研究院技术顾问。

张钹院士从事人工智能、人工神经网络、机器学习等理论研究，以及这些理论应用于模式识别、知识工程与机器人等技术研究。在这些领域，他已发表 200多篇学术论文和5篇（或章节）专著（中英文版）。他的专著获得国家教委高等学校出版社颁发的优秀学术专著特等奖。他的科研成果分别获得 ICL欧洲人工智能奖、国家自然科学三等奖、国家科技进步三等奖、国家教委科技进步一、二等奖、电子工业部科技进步一等奖以及国防科工委科技进步一等奖奖励。此外，他参与创建智能技术与系统国家重点实验室，于1990‐1996年担任该实验室主任。1987‐1994年任国家"863"高技术计划智能机器人主题专家组专家。

在过去30多年中，他提出问题求解的商空间理论，在商空间数学模型的基础上，提出了多粒度空间之间相互转换、综合与推理的方法。提出问题分层求解的计算复杂性分析以及降低复杂性的方法。该理论与相应的新算法已经应用于不同领域，如统计启发式搜索、路径规划的拓扑降维法、基于关系矩阵的时间规划以及多粒度信息融合等，这些新算法均能显著降低计算复杂性。该理论现已成为粒计算的的主要分支之一。在人工神经网络上，他提出基于规划和基于点集覆盖的学习算法。这些自顶向下的结构学习方法比传统的自底向上的搜索方法在许多方面具有显著优越性。

张钹院士在清华执教六十余年，已经是桃李满天下，在其研究领域也成为了绝对的权威。虽已年过花甲，却仍精神矍铄，如今的他还在坚持以第一作者的身份写作论文，令人敬佩。

图注：朱军

朱军，清华大学计算机系教授，清华大学人工智能研究院基础理论研究中心主任，北京智源人工智能研究院机器学习首席科学家 。获腾讯科学探索奖，入选MIT TR35中国先锋者 、亚洲第二位IEEE AI 10 to Watch学者、国家"万人计划"领军人才，中国首位PAMI副主编，担任IEEE TPAMI的副主编和编委。担任ICML2014地区联合主席, ICML、NIPS、IJCAI、AAAI等领域主席20余次。

朱军教授的研究工作围绕机器学习基础理论、高效算法和应用展开，注重理论与实际问题结合。已连续多年在机器学习顶级国际会议和期刊ICML、NIPS、IJCAI、AAAI、 JMLR、PAMI等发表论文100余篇。研究工作得到国家973计划、自然科学基金优青基金和重点基金等项目的支持，入选“清华大学221基础研究人才支持计划”。

另一项华人一作获奖论文来自斯坦福大学 ：《Comparing Distributions by Measuring Differences that Affect Decision Making》。

论文地址：https://openreview.net/forum?id=KB5onONJIAU

这项工作的获奖理由：本文提出了一类新的差异，可以比较基于最优损失的决策任务的两种概率分布。作者证明，与各种基准上的竞争性基准相比，所提出的方法具有更好的测试能力。委员会认为 ，该方法不仅思维巧妙，具有特殊的经验意义，它允许用户通过决策损失来比较分布时直接指定他们的偏好，这意味着可解释性水平将得到提高。

论文作者Shengjia Zhao是斯坦福大学计算机科学系的博士生，研究方向为预测模型和自治代理、概率深度学习、不确定性量化等。他与北大2016级图灵班本科生许逸伦等人的合作论文曾被ICLR2020“满分”接收。

图注：Shengjia Zhao

其导师为Stefano Ermon，他曾获IJCAI2018“计算机与思想奖”，在概率推理、机器学习和决策方面的研究具有重要影响。他的另一位天才学生宋飏的一作论文曾获ICLR2021杰出论文奖，宋飏14岁保送清华大学，本科就读于数学物理专业，曾跟随朱军等人做研究，后在2016年赴斯坦福大学读博。

第三篇华人一作获奖论文为《Neural Collapse Under MSE Loss: Proximity to and Dynamics on the Central Path》，作者Xiaoyan Han是康奈尔大学的博士生。

论文地址：https://arxiv.org/abs/2106.02073

这项工作的获奖理由：

本文对当下深度网络训练范式中场景的“神经崩溃”现象提出了新的理论见解。本文演示了一种新的均方误差(MSE)损失分解方法，以分析神经崩溃下损失的每个组成部分，而不是数学上更难分析的交叉熵损失。通过研究沿中心路径的重整梯度流，作者推导出预测神经崩溃的精确动力学方法。本文为理解深度网络的经验训练提供了新颖而富有启发性的理论见解。

图注：Xiaoyan Han

本次获得杰出论文荣誉提名的论文之一《PiCO: Contrastive Label Disambiguation for Partial Label Learning》，一作是来自浙江大学计算机科学与技术学院的博士生Haobo Wang。

论文地址：https://arxiv.org/abs/2201.08984

这项工作的获奖理由：

本文研究了部分标签学习(PLL)，旨在通过在一个连贯的框架中解决PLL表示学习和标签消歧的两个关键挑战，减少PLL和有监督的对等物之间的性能差距。作者提出了一个结合了对比学习和基于原型的标签消歧的新框架PiCO。本文给出了有趣的理论解释，以证明其框架从期望最大化(EM)的观点。实证结果尤其令人印象深刻，因为PiCO在PLL中显著优于目前最先进的技术，甚至达到了与完全监督学习相当的结果。

雷峰网(公众号：雷峰网)

雷峰网版权文章，未经授权禁止转载。详情见转载须知。