ICLR 2022初审结果公布：平均分最高8分，姚班李志远等39名一作拿到单项满分

 作者 | 琰琰

编辑 | 青暮

此外，ICLR 2022初审平均分最高为8分，有32篇，比去年多出了25篇。

每篇论文有3-4位评审者共同评分，单个评分达到10分的有39篇，其中一篇出自姚班毕业生，普林斯顿在读博士生李志远，整体评分为[8,6,8,10]，另外其他两篇拿到10分的论文，也都有最低6分的单个评分。

ICLR，全称为International Conference on Learning Representations（国际学习表征会议），2013年由两位深度学习大牛、图灵奖得主 Yoshua Bengio 和 Yann LeCun牵头创办。成立仅七年，ICLR已被学术研究者们广泛认可，被认为是“深度学习领域的顶级会议”。

第一轮评审结束后，作者与审稿人\AC将进入Rebuttal环节，截至到11 月 22 日结束，并在22年1月24日公布最终录用结果。ICLR 2022（第十届）在明年 4 月 25 日至 29 日线上举行。

以下是本次ICLR 2022提交论文关键词的词云图：深度学习、强化学习、表征学习、图神经网络等依然为最热门主题。

从排名数据来看，强化学习和深度学习的投稿数量要远超其他研究领域，例如对比学习、迁移学习的投稿数量不足强化学习的四分之一。另外在ICLR 2021 中比较火热的元学习（meta learning），过了一年后热度也有了明显的下降，今年排在了第12位。

在ICLR 20212中，3355篇论文共收到12981 条评论，每篇论文的评论大约在5个左右（平均值为4.917）。论文平均分在4.93分（去年是5.37分），大部分集中在4.2-5.8中间。

通过评论和关键字之间的频率分析，可以看出，要想最大限度地获得高分，最好使用诸如深度生成模型（deep generative models）或标准化流（normalizing flows）之类的关键字。

从晒出的评审列表来看，今年论文的最高平均分为8分，与去年的8.25分相比略低。不过，8分以上的论文有32篇，比去年多出了25篇，且32篇论文中有三篇单个评分达到了10分。

去年最高单个评分为9分，没有任何一篇平均分或单个评分达到10分，而今年总共有39篇。

• Score-Based Generative Modeling with Critically-Damped Langevin Diffusion，匿名提交状态

• What Happens after SGD Reaches Zero Loss? --A Mathematical Framework，第一作者是普林斯顿大学的zhiyuan Li

• Sampling with Mirrored Stein Operators，作者是英国微软研究院的Jiaxin Shi值得关注的是，其中一篇出自华人博士生zhiyuan Li，我是普林斯顿大学

另外，在3325篇有效提交中，7分以上平均分有156篇，6分以上有654篇，约占所有论文的20%。

去年ICLR 2021接收率为28.7%，前年ICLR 2020接受率为26.5%，如果按照这一趋势，目前达到6分以上的论文基本处于安全范围。

比较危险的5.6-6分这一档，总共有233篇。

如果ICLR 2022按照26.5%-28.7%接受率，中稿截至应该在列表881-954的位置，目前5.6分以上论文有886篇。

接下来经过rebuttal环节后，分数可能会发生很大的变化。去年第一轮评审结束后，有1836 名评审者更改了分数（总共 10271 名），整体分数上升了0.3。也就是说，大约 50% 的提交至少有一个分数发生了变化，而且大部分发生在rebuttal之后。

AI科技评论发现，在拿到满分评价的论文中，有一篇出自清华姚班毕业生、普林斯顿博士生李志远。

这篇论文由李志远与tianhao Wang, Sanjeev Arora合作完成，主要研究了随机梯度下降 (SGD) 的隐性偏差问题，论文整体评分为[8，6，8，10]。

给出10分强烈推荐的评审者认为，这项研究非常有价值，解决了机器学习处理有噪声标签的关键问题，并提供了超参数线性网络的有噪声标签SGD的最优性。

给出6分最低分的评审者，认为研究思路有创新，但一些模型假设、设置和主要结果需要更多详尽的解释。

值得注意的是，不是所有拿到满分的论文，整体评分都很高。一位网友根据按标准分爬取出了10篇最具争议的论文，这些论文的单个评分都相差比较大，既有满分评分，也有不足4分的低分。

例如这篇与Transformer相关的论文《Universal Approximation Under Constraints is Possible with Transformers》，整体评分为[8,3,10]。给出3分的评审者认为，论文提供了严谨的理论基础，但实验论证不够充足，有很多无法理解的细节。

给出满分的评审者认为，这是一个值得称赞的工作，研究问题清晰，论证过程研究，既有理论支撑，文末也有附实验细节，而且研究方法具有足够的创新性。

ICLR 采用公开评审（Open Review ）机制。所有提交的论文都会公开，并且接受所有同行的评审及提问，任何学者都可或匿名或实名地评价论文。而在初审公开之后，论文作者也能够对论文进行调整和修改以及进行Rebuttal。以下是CLR2021 的评审流程如下图所示：

翻译下来，大概如下:

ICLR 审稿一直吐槽与争议不断。此前，南京大学周志华教授曾曝出ICLR 2020有47%的审稿人从来没有在本领域发表过论文。开放评审的参与者应该都是水平相当的专家才有效，否则容易被误导，顶会能“顶”正是因为有高水平专家把关，但现在似乎不太可能了......

滑铁卢大学计算机系教授Gautam Kamath在推特上发文表示，自己的论文也投了ICLR，但是审稿人不具备专业知识，审核不了，直到截稿之前也审核完，而且不回复邮件，拒绝沟通......

引用链接：

https://openreview.net/group?id=ICLR.cc/2022/Conferencehttps://twitter.com/SergeyI49013776/status/1458018709847560193

https://github.com/kashif/ICLR2021-OpenReviewData/tree/iclr2022

https://github.com/VietTralala/ICLR2022-OpenReviewData/blob/master/analyze_reviews.ipynb

cc博客网cc博客网(公众号：cc博客网)

cc博客网原创文章，未经授权禁止转载。详情见转载须知。