您现在的位置是:首页 > 芯片芯片
冲破三星、索尼的铜墙铁壁,从事件相机说起
cc博主2021-10-27【芯片】662人已围观
智能手机间的竞争已经变成了拍摄能力的竞争。
主要体现在两个方面,一是摄像头数量叠加,手机厂商自研图像处理芯片,甚至同传统镜头厂商合作; 二是CMOS 图像传感器(CIS)的市场增长,据 Yole Développement 报告显示,2020 年 CIS 应用领域手机占比高到 68%。
CMOS 图像传感器相当于机器的眼睛,将光信号转变为数字信号,供机器“观看”,是实现手机拍照功能的关键元器件,性能好坏直接影响摄影质量,其成本占据整个摄像头模组的 52%,同时也被广泛应用在安防、工业、汽车等领域。
正因如此,在半导体领域,CIS 被视为细分领域的一块大蛋糕。据 Yole Développement 报告预测,到 2026 年,CIS 市场规模将达到 315 亿美元(约 2040.22 亿元人民币)。
尽管市场很大,但长期以来传统传感器市场基本被三星、索尼和豪威三家分食,初创企业难有机会冲破桎梏进入市场。不过难有机会不等于没有机会,视觉芯片技术仍在演进,机器视觉仍有难题未解。
近日,国内新锐企业锐思智芯发布了一款仿生视觉传感器芯片——ALPIX -Pilatus芯片(简称ALPIX-P),这一款芯片不仅与三星、索尼站在同一起跑线上,凭借其核心技术优势,未来很有可能打破三星、索尼等大厂在视觉传感领域的铜墙铁壁,为行业带来更多选择。
锐思智芯 ALPIX -Pilatus 融合仿生视觉传感器芯片
CIS 之后,巨头入局事件相机
一个月前,索尼半导体发布了两款全新的视觉传感器芯片,与传统 CIS 不同,这两款传感器芯片被称之为堆叠式事件监测视觉传感器(EVS, Event-based Vision Sensor)。后者仿照人眼视网膜的工作原理,每个像素都相当于一个视网膜细胞,独立工作,且只对变化敏感,也被称之为事件相机。
不仅仅是索尼,三星也开发了系列芯片,入局事件相机行业。
回顾图像传感器的发展,最初是以高像素、高制造难度的 CCD 器件为主流,日本公司扛大旗,直到 1995 年,几位华人留学生在硅谷创办了豪威,将传统的 CMOS 工艺用在图像传感器中,取代 CCD,就此打破日企垄断格局。
CMOS 最终得以取代 CCD 的原因众多,一方面 CMOS 虽然成像质量较 CCD 差,但功耗和成本降低,适合消费电子市场,另一方面,豪威切入苹果供应链,加速了 CMOS 对 CCD 的替代。
据市场调研机构 Strategy Analytics报告显示,豪威、索尼、三星在视觉传感器的市场占有率达80%以上。CMOS 技术保持传感器市场主旋律的同时,规模也在不断增长。
既然 CMOS 火爆至今,那么视觉传感器巨头们为何还要切入事件相机呢?
原因有二,一是 AI 与 CIS 集成是未来趋势,二是传统 CMOS 只适用于拍摄人眼观看静态图片,在机器视觉方面,则依然面临众多痛点。
锐思智芯创始人兼 CEO 邓坚告诉cc博客网,传统机器视觉面临四大痛点:运动捕捉差、数据冗余大、功耗高、环境适应力差。
这主要是因为 CIS 本身的工作原理造成的。CIS 主要是对光电流进行时间上的积分来实现曝光,而从曝光到数模转化再到数据的传输耗时长,时间越长意味着能耗越高,同时图像的帧率也会降低。帧与帧之间的间隔时间长造成信息缺失,从而增加了机器对图像的判断难度。
同时,CIS 输出的是 8-12 bit 信息,数据传输量大、能耗高,读取慢,存储空间需求大且处理图像耗能高。
“CIS 也尝试解决这些痛点问题,但基于其通过快门控制所有像素在同一时间内进行积分曝光的工作原理,其帧率、数据量和动态范围三个参数难以平衡。”邓坚解释道。例如在高动态范围的拍摄中,常常使用多重曝光算法,即融合多个不同曝光时间的帧图像而成高动态范围的图像,必然导致帧率下降,更多的数据运算和更大的系统延时,在要求短响应时间和捕捉快速变化的场景中无法适用。
仿生视觉传感器与传统CIS传感器参数对比
基于不同的工作原理,事件相机则能过打破 CIS 在机器视觉上的限制。邓坚表示,事件相机模仿人眼的工作原理,每个像素都像神经细胞一样独立工作,独立连续地感知光的变化,并将光的变化转换为数字脉冲信号,若光强无变化则不输出。
“总结起来,事件相机具有速度快、数据量少、功耗低和动态范围大的特点,与当下机器视觉面临的痛点一一对应。”邓坚说道。
国内唯一事件相机独立创企,核心技术领先索尼、三星
正是因为事件相机能够解决传统 CIS 无法解决的难题,三星、索尼等视觉传感器大厂纷纷入局仿人眼视网膜的机器视觉传感器。
据邓坚介绍,由于仿生视觉技术起源于瑞士,目前主要的技术团队主要集中在国外,包括法国的 Prophesee、瑞士的 insightness 和 inivation,其中瑞士的两家公司已经分别被索尼和三星收购,国内除了锐思智芯外,上海芯仑光电也涉足仿生视觉技术,不过目前芯仑光电已经被韦尔股份收购。
“在事件相机领域,锐思智芯是目前国内唯一一家独立的创企。”邓坚说道。
虽然是在国内创业,但与其他几个事件相机公司类似,锐思智芯核心团队来自瑞士,核心成员曾从事过各类高端传感器研发,如高端图像传感器、ToF、X ray、神经元信号探测芯片等。锐思智芯成立至今不到3年时间,不过其核心团队最早于 2014 年参加瑞士国家基金会项目,设计一款植入盲人眼球的仿视网膜芯片,就已经进入仿生视觉领域。
融资方面,今年初,锐思智芯完成近亿元 Per-A 轮融资,由海康威视和耀途资本联合领投,讯飞创投、舜宇中央研究院、全志科技、追远创投、同创伟业跟投,老股东联想创投、中科创星继续加注。
值得一提的是,锐思智芯拥有独有的核心技术,从一开始就同索尼、三星等形成差异化格局。
“为何发展了 6 年多的事件相机,至今依然活跃在工业测振领域,而在消费电子领域不见其身影?”邓坚说:“市面上现有的事件相机技术理念和方式还是基于二十年前的技术,导致最终设计制造的芯片功能受限,适用范围并不广泛。”
事实上,在真实拍摄场景中,机器视觉既需要事件信号做快速的预判,也需要图像信号做精细的判断或重建,因此既需要事件相机捕捉动态信息,也需要传统 CIS 呈现细节丰富的静态信息。
“现有的事件相机,由于其底层设计还是沿用比较传统的方式,存在一些问题,难以兼容输出图像信号,并且像素尺寸大,噪声大。”邓坚说。
正因如此,锐思智芯将仿生事件相机功能和 CIS 功能在像素层面融合,用一颗摄像头代替两颗摄像头,同一个像素中放置两套电路,一套用于生成事件信号,一套用于输出图像信号。这一技术,被锐思智芯命名为 Hybrid Vision 融合式仿生视觉技术。
Hybrid Vision 融合式仿生视觉技术原理
不过由于一个像素内电路数量是传统 CIS 的十倍,设计难度也大大增加,同时也可能导致设计出的芯片像素面积大。
为解决这一问题,锐思智芯采用先进的 3D 堆叠工艺,将像素感光部分和图像信号输出电路放置上层晶圆,事件信号输出电路放置下层晶圆,然后通过铜互连技术将上下层晶圆的电路在每个像素上对应连接,既能大幅度减小像素尺寸,又能隔离不同电路之间的信号串扰,降低噪声。
进军消费电子,预计明年年中出货
基于独有的核心技术,锐思智芯设计出 ALPIX 系列芯片产品,目前ALPIX-P正式发布。
据锐思智芯介绍,最新公布的 ALPIX-P,可以在传统图像传感器模式和仿生事件相机模式间快速切换。在图像模式下,ALPIX-P是一款最高帧率为120帧的全局曝光传感器,与现有的传统图像传感器完全一致,与现有成熟的视觉系统完全兼容。在仿生事件相机模式下,ALPIX-P具有超高帧率,高有效信息占比,大动态范围的特点。预计到明年,将在VIoT领域落地。
不过低功耗的 IoT 领域并不是锐思智芯的全部市场目标,其计划于今年年底发布的 ALPIX-Eiger,就适用于超高画质拍摄的小型相机设备,如手机、安防摄像头等。锐思智芯称,该款芯片将进一步缩小像素尺寸,提升分辨率。
“事实上,现阶段我们想的不是如何去颠覆视觉传感器行业,只是想尽量满足市场需求空白,作为初创公司,我们会脚踏实地,早期先聚焦于 VIoT 领域,未来将扩展至汽车和消费电子领域。”邓坚说道。
cc博客网(公众号:cc博客网)
相关文章:
为扫地机器人再加两个传感器
视觉感知堪比人眼!这款突破性传感器模仿人类视网膜,有望带来 AI 重大进展
血氧传感器一夜成手表新宠,含金量到底有多高?
Tags:ssr加速器下载
相关文章
- Cloudflare副总裁:京东云的发展历程让我想起了AWS
- LoRa 进入中国第7年,市场发生了哪些新变化?
- 瑞幸「会计欺诈案」赔偿金额降低:1.875亿美元变为1.75亿美元,与股东达成和解
- 新冠和癌症都能解决?看E级时代的HPC会带来多少可能
- 关注数据而不是模型:我是如何赢得吴恩达首届 Data-centric AI 竞赛的
- 元宇宙、区块链、AI,爱奇艺做了一场「前沿」的Hack Day
- 华安证券与腾讯云战略合作,携手打造金融科技发展引擎
- 2021年小火箭节点分享-免费酸酸乳(trojan)网络节点定期更新
- 腾讯云与宇信科技战略合作 共同助力金融行业的数字化升级
- HDC2021盘点:开发者三年翻十倍,华为HMS如何快速“星火燎原”
猜你喜欢
勇立潮头,佳都科技牵手全球元宇宙龙头Unity开启新蓝图
业界元宇宙”之基3D引擎未来发展空间巨大Unity是全球领先的3D游戏引擎提供商,随着汽车、建筑、工业以及未来元宇宙等领域对3D引擎需求的持续增长,Unity的产品也正逐步从游戏渗透至其他领域,为各行业的数字化转型提供3D建模、仿真等软件基础设施。而佳都科技...
阅读更多SEO小技巧:何时使用tag进行SEO
站长动态SEO小技巧:何时使用tag标签进行SEOSEOer利用tag进行优化甚至是Spam的历史绝对可算“悠久”了。但利用tag来进行网站优化就真的那么容易吗?你是否在网站信息tag化的进程中伤害了“用户体验”?你遗忘了哪些必要步骤?又做了哪些多余事?tag...
阅读更多2022年处理器大战揭幕
芯片英特尔在2021年发布12代酷睿Alder Lake处理器,全新的“性能核心+能效核心”混合架构设计,在性能和成本上取得了平衡,带领英特尔走出AMD Zen 3处理器和的11代桌面酷睿的“阴影”。12代酷睿竞争力虽强,但当时只包括了6款桌面端CPU,没有覆盖...
阅读更多开源操作系统社区OpenCloudOS正式成立,共建国产操作系统技术生态
业界12月22日,开源操作系统社区OpenCloudOS正式宣布成立,腾讯及宝德、北京初心、北京红旗、飞腾、浪潮、龙芯中科、OPPO、先进开源、中电科申泰、中科方德、兆芯等20余家操作系统生态厂商及用户成为首批创始单位。操作系统是核心基础软件,其重要性已是业界共...
阅读更多91位先行者当风启航:「雷峰网2021最佳AI数智化年度榜」公布
业界可能直到今天,数字化与智能化,才得以呈现其真实模样。在前沿技术的浪潮冲刷各行各业之初,智能化仍是以点状应用出现,被视作在业务、在场景的浅表层多点开花。但缺乏“地基”级别的系统性建设,智能化难言深化、规模化,于是一场轰轰烈烈的数字化浪潮来袭,人们开始更多着...
阅读更多