3D机器视觉迎来爆发机遇

迈向智能化时代的进程中，不仅需要AI技术，还需要与AI匹配的一系列计算、感知、连接等技术。其中，3D感知尤为关键。纵观当下最受关注的几大领域，智能机器人、自动驾驶汽车、XR（包含VR、AR、MR），还有今年最火的元宇宙，都需要3D感知。

然而，在很长一段时间，3D机器视觉主要应用于智慧城市的监控当中，没能在更多领域应用。原因有很多，包括成本、技术的成熟度、使用3D视觉芯片的门槛等。

银牛微电子联合创始人兼首席战略官白逸告诉雷峰网(公众号：雷峰网)：“激光雷达、红外辅助等方式获取的2D信息有限，难以进行进一步的计算、判断、控制等功能。要从2D转向3D，实现获取信息质量和数量的飞跃，需要跨越巨大的技术鸿沟。只有拥有了成熟的3D机器视觉产品，这些市场才有可能快速规模应用3D机器视觉。”

全球唯一一款集成3D深度感知+SLAM（实时定位与建图）+AI功能的单芯片，在中国市场的推广应用，将加速3D机器视觉的爆发。 

3D机器视觉为什么难普及？

著名心理学家赤瑞特拉（Treicher）曾经验证过一组数据，人类获取的信息83%来自视觉，11%来自听觉。显然，要实现机器智能，迈向智能化时代，视觉信息非常关键，特别是3D视觉。

比如今年最火的元宇宙，要将现实世界在虚拟世界实现映射，需要与3D视觉密切相关的XR。VR在2015年迎来了投资热潮，随后的2016年，被称为“VR元年”。

当时VR设备的眩晕感以及内容不够丰富等原因，让2016年没能成为“VR元年”。直到2021年，Meta售出了1000万台VR头盔Oculus Quest 2，被业界认为XR又迎来了新的爆发期。

自动驾驶汽车和智能机器人也是典型需要3D视觉的领域，但也各自面临挑战。自动驾驶汽车领域，采用纯2D视觉方案，无论是摄像头还是激光雷达，需要海量数据，成本挑战巨大。机器人中所需的3D视觉技术，也因为技术和开发难度限制难以大量应用。

拥有3D视觉领域丰富经验的银牛微电子联合创始人兼副总裁何火高指出，“3D视觉不只是单纯和芯片或算法的问题，还涉及到相关的光学、结构、散热等问题，加上芯片、算法构成的复杂技术系统，使3D视觉的芯片和解决方案有非常高的技术门槛，需要投入更多时间、技术、人才。”

“一个好的技术和一个成功的产品最终能否推动整个生态去发展，中间有巨大的鸿沟，这个鸿沟可能90%是软件的工作量。”白逸进一步表示，“只有提供完整的系统级解决方案，才能满足市场需求。我们也相信双目3D视觉会把整个人工智能机器视觉的成本降低。”

技术的高门槛，也让这一领域只有少数拥有极强技术和产品实力的公司，这阻碍了3D视觉技术的快速普及。一个很好的例子就是苹果以3.6亿美元收购了以色列3D芯片公司PrimeSense，并申请了专利，在iPhone上实现了3D人脸识别Face ID功能，其它厂商由于没有类似的技术和产品供应商，很难在手机上实现如同苹果的3D识别功能。

在XR、自动驾驶汽车和智能机器人领域，市场上迎来了一款融合多种功能的3D视觉感知AI芯片，可能带动3D视觉在这些领域的爆发。

全球独一无二的3D感知AI芯片

2012年，3D芯片的开创者，前PrimeSense CTO Dor Zepeniuk和有38年半导体设计经验的连续成功创业者Shlomo Gadot在以色列创立了Inuitive，并吸引了一群经验丰富的人才，他们的专业领域涵盖八大学科，人均有20年以上的经验。

这群有理想，有超前设计理念的创业者，并不满足于推出一款只是超越市场上已有的3D芯片，他们想再次突破，挑战难度更大的异构3D视觉芯片。最终，Inuitive在2019年推出了全球唯一一款能在单芯片中同时实现3D深度感知、高精度姿态跟踪、SLAM实时定位建图引擎与AI算力于一体的异构芯片NU4000。 

想要在单颗芯片上同时集成这些功能难度很大，因为要同时集成计算机视觉、人工智能、光学、系统架构、嵌入式系统软件、边缘计算及芯片设计等众多技术。拥有Inuitive独有3D感知技术，加上SLAM，以及异步时间扭曲技术（如果视频帧率不足能够产生中间帧，减少画面抖动，减少眩晕感，可以实现从动作到画面反应延迟小于1毫秒），融合AI的NU4000一经推出，就获得了市场的认可。

银牛微电子在2020年11月成功收购了已经量产全球独一无二的3D感知AI芯片的Inuitive。银牛微电子董事长兼CEO曲冠诚说：“这可能是有史以来速度最快的国际并购，我们用4.5个工作日就达成了并购。这离不开我们双方并购前构建的良好基础，以及我过去的经验，再加上各方的支持，最终才如此迅速达成收购。”

达成并购不是最大的挑战，更大的难度来自于并购后的融合。白逸说，“收购完成之后，我们有一系列措施维护和稳定以色列原团队的核心管理层和研发团队，因为他们是整个公司宝贵的财富。目前，员工流失率极低，核心员工没有流失。中国和以色列团队正在积极融合，重点关注双目立体3D感知，共同规划产品路线图和开发产品。”

其中有一个重要举措，银牛微电子绝对控股Inuitive，但曲冠诚并没有收购创始团队的股份，通过与创始团队保持合作的关系，能够更好的共同推动3D机器视觉在中国以及全球的规模应用。

雷峰网注意到，虽然Inuitive的团队有各个领域丰富的经验，但核心专利数只有25项。曲冠诚解释，“Inuitive只申请了最核心的专利，因为他们申请的都是美国发明专利，不仅申请流程复杂，维护费用也很贵，大量申请专利的主要是产品公司，Inuitive是研发型创业公司。接下来，我们将会在国内申请数百个专利。”

未来两年，银牛微电子的3D感知AI芯片的工艺会从12nm向7nm甚至5nm演进，中国团队也会不断参与到产品的研发中，实现更好融合。

“今年的一个重要任务就是把基于NU4000芯片的3D模组在中国实现量产。”白逸介绍，“NU4000已经有很多参考设计，但量产的第一个模组产品是最新发布的C158，特为中国客户设计调优，主要目标市场是智能机器人，也可以应用于XR / 3D交互、3D扫描、高端无人机等领域。”

曲冠诚强调，中国客户有不同的设计和更多样化的需求，银牛微电子要做好本地产业供应链的管理，更好适合本土化需求，客户的响应时间会在24小时之内。

“未来几年，可以看到3D机器视觉在三个领域大量落地，包括低速辅助驾驶、智能机器人和AR/VR。”曲冠诚说。 

智能机器人3D视觉将率先爆发

“再好的技术，成本太高或没有市场着力点，也无法落地。”曲冠诚进一步表示，“之所以在中国市场先推出机器人模组，一方面是因为疫情，市场对服务机器人的需求呈现爆发性增长。另一方面，市场行业龙头的战略调整，也给了我们很大的机会。”

《中国机器人产业发展报告(2021年)》数据显示，2021年，全球机器人市场规模预计将达到335.8亿美元，其中，2021年中国服务机器人市场规模将达到302.6亿元，高于全球服务机器人市场增速；到2023年，随着视觉引导机器人、陪伴服务机器人等新兴场景和产品的快速发展，中国服务机器人市场规模有望突破600亿元。

白逸解释，“我们推出的C158模组可以理解为是通用芯片加上专用模组，它适合智能机器人领域的绝大部分客户需求，其它领域的客户需要专用的模组。由于我们NU4000芯片的通用性，基于通用芯片模组的迭代周期只需要几个月，比芯片迭代周期短很多。因此，我们通过不断迭代模组不仅能更好满足同一市场的需求，也能拓展新市场。”

雷峰网了解到，银牛微电子明年至少会拓展120-150人的软件团队支撑不断增长的客户需求。整个公司软件团队的人数可能会是硬件团队人数的2倍或更多。

至于银牛微电子是否会直接出售芯片，白逸表示，这是一个商业考量问题。

“未来的两三年，3D机器视觉还处于起步阶段，生态的成熟度和解决方案的成熟度都决定了客户很难直接使用这么复杂的芯片。3D视觉模组实际上可以降低客户的使用门槛和成本，加速3D机器视觉的落地。随着3D机器视觉的发展，未来也可能直接出售芯片。”

具体的性能，C158深度分辨率可达1280 x 800 @60fps，感知距离在6米以内时，精度误差仅为1%，能以0.5w实现5-6 TOPS算力，内置的通用型Arm内核，支持系统独立性，使系统可以同时兼顾协处理器和主控系统。同时，C158搭载丰富接口和系统支持，使其无论是模组或外设皆可实现USB即插即用的效果。

值得一提的是，得益于基于高集成度的NU4000芯片，C158模组的尺寸为125mm x 40mm x 27mm，支持120fps的2路摄像头以及6自由度坐标的重定位，能实现实时高精度姿态跟踪。

写在最后 

任何一种新技术的成熟和大规模应用，都需要各种因素的共同作用。技术的成熟度以及成本是两个关键，过去，3D机器视觉产品由于产品集成度不够高，使用难度大，大规模应用面临巨大挑战。

随着银牛微电子基于独一无二的集成实现3D深度感知、高精度姿态跟踪、SLAM实时定位建图引擎与AI算力芯片的模组推向中国市场，国内的智能机器人公司和机构新增了一个选择，如果这一产品被市场广泛接受，将会推动3D机器视觉在智能机器人领域的快速应用。

在可以预见的3-5年，3D机器视觉也将在低速辅助驾驶、VR/AR等领域大规模应用，与其它计算、感知和连接技术一起，推动3D机器视觉的爆发，迈向更加智能的时代。