神经拟态视觉技术，距离模拟人眼还有多远？

20世纪80年代后期，超大规模集成电路（VLSI）发明者之一、美国加州理工大学院的Carver Mead教授首次提出了神经拟态的概念，设想用CMOS模拟电路的方式去模仿生物视网膜，搭建具有生物计算特性的系统，并与学生展开了这方面的研究。

后来这项技术从美国传播到欧洲，在全球范围内蔓延开来，世界各地的科学家和企业家们的研究都指向同一个问题：如何才能让基于CMOS模拟电路所做出的视网膜更接近于人眼？

来自奥地利的Christoph Posch就是关注神经拟态技术的学者之一，自2000年左就开始从事神经拟态相关的工作，并和Luca Verre共同创办了一家研发神经拟态视觉芯片的公司Prophesee，在神经拟态视觉芯片技术领域位居全球前列。

不久前，雷峰网与Luca进行了一次交流，Luca谈到了神经拟态视觉芯片技术的最新进展：人工视网膜领域已经有成功案例，目前正在手机等消费电子方面寻找更加广阔的发展空间。

为视障人士而生的事件相机

与人体的神经反射一样，电路中的神经拟态主要分为两个部分，接受信号的传感器和感受信号的神经中枢，因此衍生出类人眼和类脑等神经拟态芯片。模拟人眼的工作，主要是事件相机承担。

与传统的视觉传感器有所不同，事件相机是一种受生物启发而诞生的新型视觉传感器，有时也被称之为动态视觉传感器。在生物视觉中，一部分视觉细胞会对动态的事物敏感，仿照人眼的这一特点，就诞生了用于敏感捕捉运动物体的事件相机。

事件相机的核心在于，其中每一个像素处都有一个独立的光源，当该像素处的亮度变化超过设定阈值时，就会生成和输出脉冲数据，因此可以完成一些基于帧的传统相机没法完成的任务，例如高速运动、高动态范围建图等等，具有高动态范围和低时延等优点。

在神经拟态视觉技术方面拥有二十多年研究经验的Christoph，看到了事件相机的潜力，认为是时候创办一家公司，将这项技术从实验室带到市场。

Prophesee CEO Luca告诉雷峰网，大概八年前，Luca在巴黎攻读MBA，想在事业上寻求一些新突破，正是在这个时间段结识了Christoph，在听完其对神经拟态视觉技术的介绍和分析后，受到很大启发，清楚地知道这项技术将为市场带来巨大价值，于是毫不犹豫地决定同Christoph一起创业，几天后，Prophesee就这样诞生了。

最初，Christoph和Luca都认为，这项技术的本质在于开发一个模拟人眼的人工模型，因此可以用来模拟人眼视网膜的工作原理，帮助视网膜功能受损的盲人恢复视力，因此决定将这项技术应用于医疗领域。

“某种程度上，这也是我们决定创立这家公司的灵感来源之一。”Luca说道。

因此在Prophesee成立初期，发布的第一代产品主要用于帮助视障人士和盲人恢复视力。Luca表示，Prophesee的第一代产品主要用于生物电子公司Pixium Vision和生物制药公司GenSight的应用，已经取得不错的实验成果。 “现在这两家公司正在想办法尽可能减少手术的复杂性，希望尽快把这项技术应用到更多患者身上。”Luca解释道。

Prophesee作为神经拟态视觉技术方面全球领先的公司，证实了事件相机在模拟人眼方面的潜力，为了进一步推动神经拟态技术的发展，Prophesee决定一边持续保持对医学应用的关注，一边将业务重心更多地转向手机端和电子领域，以及工业领域。

从人眼到手机，化身改善影像的利器

事实上，比起在模拟人眼上取得的进展，神经拟态视觉技术在工业和消费电子领域发展更快，在CMOS痛点难解的状况下，以及智能手机同质化严重的情况下，逐渐演变成手机厂商未来角逐赛中的一部分。

追溯图像传感器的发展历程，最初以高像素、高制造难度的CCD器件为主流，后来逐渐被功耗和成本更低的CMOS取代。

但CMOS也有自己的问题，由于主要通过对光电流进行时间上的技术实现曝光，从曝光到数模转化再到数据的传输耗时长，功耗高，影响图像的帧率，帧与帧之间间隔时间长造成信息缺失，从而增加了机器对图像的判断。

同时，CMOS图像传感器输出8-12bit信息，数据传输量大、能耗高、读取慢、存储空间需求、大处理图像能耗高。

在CMOS图像传感器的发展历程中，也有不少厂商尝试解决这些痛点问题，但基于其通过快门控制所有像素在同一时间内进行积分曝光的工作原理，其帧率、数据量和动态范围三个参数难以平衡。

例如，在高动态范围的拍摄中，常常使用多重曝光算法，即融合多个不同曝光时间的帧图像而成高动态范围的图像，必然导致帧率下降，更多的数据运算和更大的系统延时，在要求短响应时间和捕捉快速变化的场景中无法适用。

“我们平时用手机拍摄运动的物体时，尤其是在光线不足的情况下，会发现拍摄对象的边缘不太清晰，这是因为目前手机摄像头会在固定的时间节点获取信息，当我们按下相机快门，传感器开始进光，快门关闭。这段曝光时间内，如果拍摄对象发生移动，拍出来的照片就会模糊。”Luca说这是传统摄像头普遍存在的问题。

拥有动态捕捉能力的事件相机能够更好地解决这些问题，因此近几年，索尼和三星都纷纷入局事件相机，抢在CMOS革命前夜做好布局，改善手机影像能力。

Prophesee作为为数不多的事件相机初创公司，同时也是索尼的合作伙伴，鉴于在医学应用领域的经验，也已经在智能手机领域取得新进展，推出照片去模糊功能并已经和高通展开合作。

Luca向雷峰网展示了采用Prophesee事件相机芯片之后所拍摄照片与传统摄像头的项目对比，能够观察到前者所拍摄出的正在运动中的球拍和球都更加清晰。

“我们也有在和一些手机大厂进行合作，目标是在2024年实现量产。”Luca说道。

AR、VR和智能驾驶应用落地紧跟其后

除了在手机摄像头领域的应用落地，事件相机也可以在一些火热赛道上发挥作用。

Luca告诉雷峰网(公众号：雷峰网)，AR、VR和智能驾驶，都是事件相机的目标市场。

在AR、VR领域，事件相机有望解决眼球追踪的难题，帮助用户降低使用AR、VR设备时的眩晕感。一年前，Meta在WACV会议上发布了一项有关解决眼动难题的应用研究，就是基于Prophesee事件相机来检测场景中的变化。

“眼睛移动的速度非常快，所以需要非常高速的摄像头跟踪眼睛的移动，但传统摄像头基于帧，快速追逐眼动需要非常高的帧率进行拍摄，这会产生非常多数据，增加能耗和数据处理时间。但事件相机能够针对信息的变化，只追踪移动物本身，在保持低功耗低延迟的情况下实现高速追踪。”Luca解释道。

在智能驾驶方面，Luca表示，Prophesee目前的应用研究主要集中在两个方面，一是监控驾驶员在座舱内的行为，在司机开车时对其注意力进行监控，例如通过监测眨眼的速度和频率，判断司机是否有出现注意力下降的情况；

二是在辅助驾驶方面，可以帮助检测汽车前方的障碍物，尤其是在低光或者强光的环境下通过更高的动态范围提供更准确的障碍物探测，提高行车的安全性。

目前，Prophesee也已经和博世、英特尔以及雷诺日产进行合作，展开更多在汽车领域的实验。

如此先进的神经拟态视觉技术，工艺成本是否会比CMOS更贵，Luca则表示，Prophesee的传感器同样基于传统的CMOS技术制造，在工艺成本方面相当，不过作为一项全新的技术，还需要进一步扩大研发投入，同时市场需求扩大，才能真正实现降本增效。

相关文章：

​神经拟态计算的“一小步”， AI发展的“一大步”

英特尔1亿个神经元的全球最强神经拟态系统，何时改变世界？

神经拟态计算如何为机器赋予灵魂？

雷峰网原创文章，未经授权禁止转载。详情见转载须知。