您现在的位置是:首页 > 人工智能人工智能
CVPR 2022 现场直击!居然有人用图形学创造 3D 物体开爵士音乐会?
cc博主2022-06-22【人工智能】454人已围观
昨天 CVPR 2022 在美国线下开幕,大家都到现场了吗?……(狗头护体)
时隔两年,CVPR终于线下面基,各方大神也纷纷各显神通,大秀肌肉~那么,今年的CVPR有什么有趣的研究成果呈现呢?
小编密切关注,意外发现了一场 3D 渲染的爵士乐演奏会:
据了解,这个效果的背后推手是一个被称为“3D MoMa”的方法!
而研发 MoMa 的团队,正是在图像渲染领域颇有造树的 NVIDIA Research!
该方法图形学取经,可以让建筑师、设计师、概念艺术家和游戏开发者迅速将物体导入图形引擎,并开始对其进行处理——修改比例、改变材质或尝试不同的照明效果,最后形成这样一幅逼真的演奏现场画面!
爵士乐的精髓在于即兴演奏,而可逆渲染流程“NVIDIA 3D MoMa”恰恰就能让图形创作者快速创建出 3D 物体,达到即兴表演的要求。
巧合的是,今年 CVPR 的举办地新奥尔良正是爵士乐的发源地……
基于2D图像创建3D物体
逆渲染是将一系列静态照片重建为3D物体或场景模型的技术。NVIDIA图形学研究副总裁David Luebke表示:“该技术长期以来一直是统一计算机视觉和计算机图形学的关键。”
他表示:“NVIDIA 3D MoMa渲染流水线可以将逆渲染问题的每个部分表示为GPU加速的可微分组件,然后使用现代AI机器和NVIDIA GPU的原始算力快速生成3D物体,且创作者可以在现有工具中自由地导入、编辑和扩展这些物体。”
为了使艺术家或工程师能够充分利用 3D物体,其形式应能够导入游戏引擎、3D建模器和电影渲染器等各种被广泛使用的工具。带有纹理、材质的三角网格形式,就是此类3D工具使用的通用语言。
图注:三角网格是用于定义3D图形和建模形状的基本框架
游戏工作室和其他创作者习惯于使用复杂的摄影测量技术来创建3D物体,这需要耗费大量的时间和精力。近期的神经辐射场(Neural Radiance Fields)研究可以快速生成物体或场景的3D模型,但并不是使用易于编辑的三角网格形式。
当在单个NVIDIA Tensor Core GPU上运行时,NVIDIA 3D MoMa能在一个小时内生成三角网格模型。该流水线的输出结果与创作者现在使用的3D图形引擎和建模工具直接兼容。
流水线的重建功能包括3D网格模型、材质和照明。网格就像由三角形构建的3D形状混凝纸浆模型。有了它,开发者就可以依照自己的创意对物体进行修改。材质是叠加在3D网格上的2D纹理,就像人的皮肤一样。NVIDIA 3D MoMa通过对场景光线进行估算,使创作者能够在日后修改物体上的照明。
为虚拟爵士乐队调校乐器
为了展示NVIDIA 3D MoMa的功能,NVIDIA的研究和创意团队首先从不同角度收集了五种爵士乐队乐器(小号、长号、萨克斯、架子鼓和单簧管)的约100张图片。
NVIDIA 3D MoMa将2D图像重建为每种乐器的3D表示,并以网格形式呈现。然后,NVIDIA团队将这些乐器从原始场景中取出,并将其导入NVIDIA Omniverse 3D模拟平台中进行编辑。
在任何传统图形引擎中,创作者都可以轻松为形状调换由NVIDIA 3D MoMa生成的材质,就像给网格穿上不同的衣服一样。例如该团队对小号模型采取了这种做法,将原来的塑料材质快速更换成黄金、大理石、木材或软木。
然后,创作者可以将新编辑的物体放入任何虚拟场景中。NVIDIA团队将这些乐器放入了经典的图形渲染质量测试康奈尔盒中。他们证明了虚拟乐器对光线的反应与在物理世界中完全一样:闪亮的铜管乐器反射出亮光,哑光的鼓皮则会吸收光线。
这些通过逆渲染生成的新物体可以作为复杂动画场景的构成要素。
更多研究详情,请观看原文:
论文地址:https://arxiv.org/pdf/2111.12503.pdf
雷峰网(公众号:雷峰网)
雷峰网版权文章,未经授权禁止转载。详情见转载须知。
Tags:
相关文章
- 聚焦场景,开放生态,宇视进击AIoT「无限新视界」
- 半导体行业资本开支已超「40%红线」,「缺芯」拐点将至?
- 腾讯高位大幅减持新东方,套现超7亿港元几近清仓;曝iPhone14将全系涨价;苹果在华招聘汽车软件工程师|雷峰早报
- 某学习软件疑似数据泄露登上热搜 数据防裸奔、补短板迫在眉睫
- 盒马启动新一轮裁员,采购线被收回总部,高管团队年终奖缩水
- 最新免费机场ssr节点二维码,v2ray机场推荐每日更新6月21日
- 蚂蚁集团携手CVPR22 Workshop举办视觉智能竞赛超1300多支队伍报名
- 学习通曝出大规模被拖库事件,1.7亿条信息遭公开售卖,波及全国大量高校,官方回应称未发现证据
- 免费运营维护网站指南
- 破12亿!科沃斯618业绩再现行业龙头实力,“说一声就干净”带来全新体验
热门文章
- 香港VPS低至6折93元/年,全场8折,香港CN2,洛杉矶CN2 GIA,洛杉矶9929,洛杉矶CMIN2,日本大阪/东京IIJ,日本BGP,韩国BGP,英国伦敦AS9929住宅IP
- 知乎直答亮相“学术酒吧”开放麦,李开复、刘知远相聚“AI上头俱乐部”
- 低至4折,2核4GB内存VPS/GPU独服 $2.99/月起,GPU VPS/GPU专用服务器 $13/月起,物理专用服务器$29/月起,可免费试用
- RISC-V要成为「显性」技术,到了关键时期
- 美国/香港VPS年付99元起,双核/2GB/15GB SSD/500GB流量@100Mbps带宽
- MIT 热门研究:AI 工具“带飞”科研,但也严重加速内卷
- 国行 iPhone 16 相机控制也接入视觉智能了!可一键调用阶跃星辰智能助手「跃问」
- 视觉模型智能涌现后, Scaling Law 不会到头
- 黄仁勋亲述创业故事:两次都差点倒闭
热评文章
「11月24日」2024年V2ray/Clash/SSR/Shadowrocke澳大利裔日本免费节点
MIT 热门研究:AI 工具“带飞”科研,但也严重加速内卷
国行 iPhone 16 相机控制也接入视觉智能了!可一键调用阶跃星辰智能助手「跃问」
知乎直答亮相“学术酒吧”开放麦,李开复、刘知远相聚“AI上头俱乐部”
黄仁勋亲述创业故事:两次都差点倒闭
低至4折,2核4GB内存VPS/GPU独服 $2.99/月起,GPU VPS/GPU专用服务器 $13/月起,物理专用服务器$29/月起,可免费试用
RISC-V要成为「显性」技术,到了关键时期
香港VPS低至6折93元/年,全场8折,香港CN2,洛杉矶CN2 GIA,洛杉矶9929,洛杉矶CMIN2,日本大阪/东京IIJ,日本BGP,韩国BGP,英国伦敦AS9929住宅IP
英伟达SC24六大技术亮点,不止加速超算500强
美国/香港VPS年付99元起,双核/2GB/15GB SSD/500GB流量@100Mbps带宽