LeCun称梯度下降是最优雅的 ML 算法，Marcus：我不同意

作者｜李梅

编辑｜陈彩娴

前几天刚跟马斯克吵完架的Gary Marcus，又双叒叕跟人吵起来了，这次的吵架对象是Yann LeCun。

一向喜欢给深度学习泼冷水的Marcus，在今天发帖谈了谈与LeCun的「旧账」和「新仇」，并给了LeCun一个白眼：

事情是这样的。

几天前，有人在推特上发帖问: 在机器学习中，最优雅美丽的idea是什么？感觉数学家和物理学家经常谈论美学，但我们却很少，为什么？

于是网友们都来认真答题：多重权重更新算法（multiplicative weights update）、核技巧（kernel trick）、降维（dimension reduction）、一些凸优化方法（convex optimization）、变分推理（variational inference）、熵和信息论等等。

大家还就机器学习研究的美学性讨论了起来。有人认为，机器学习理论家其实也在谈论优雅这个东西，尤其是那些具有理论计算机背景或者传统物理学背景的人。也有人言语犀利：之所以很少有人谈论美学，是因为机器学习重在应用，而不是像纯粹数学那样「毫无价值」。

谷歌大脑的研究员Chris Olah也来转贴评论说：

LeCun表示：梯度下降？这我熟！

LeCun在1989年发表的那篇论文，就是通过使用梯度下降的方法训练了CNN进行图像识别，梯度下降后来成为计算机视觉研究的基础理论。

LeCun还回忆了2000年丹佛NIPS会议上的一次经历。当时一位非常杰出的ML研究人员在晚宴上问道：「我们在ML中学到的最重要的东西是什么？」LeCun回答说：「梯度下降」。当时那位研究人员脸上目瞪口呆的表情表明他对这个回答嗤之以鼻。

LeCun这个「仇」记得还挺久......

那么，「梯度下降」是最优雅的ML算法吗？有人赞成有人反对。

LeCun正忙着与网友进行友好交流，Marcus也来了。有讨论深度学习的地方，怎能没有我Marcus的身影？

LeCun一看：所以你的意思是要抛弃梯度下降了？？

2.未来会有什么方案可能替代基于梯度的优化？你是相信（a）无梯度优化不好？，还是（b）优化本身不好？

对此，Marcus表示很委屈：我的意思是DL需要「补充」，而不是「替换」！

Marcus还搬出发表于2018年的一篇文章“Deep Learning: A Critical Appraisal”作为证据：

还有最近的一场keynote演讲：

但是，LeCun并不买账，他接着Marcus的话回复：

这可把Marcus惹急了：

那就来翻翻旧账，针对Marcus在2018年写的那篇文章，LeCun的确曾这样评论（虾仁猪心）：

到这儿大家也能看出来，二人讨论的对象和观点是有错位的。LeCun希望如果有新的方案，仍需要封装在DL下，而Marcus的意思是新的方案需要围绕着DL进行封装，前者是关于规模的扩展，后者则是一种混合和补充。

大家怎么看？

雷峰网(公众号：雷峰网)

雷峰网版权文章，未经授权禁止转载。详情见转载须知。