首页 / 行业
得心应手的AI：NVIDIA Research助力内容创作者使用3D物体进行即兴创作
2022-06-22 10:27:00
可逆渲染流程 NVIDIA 3D MoMa 将于本周在新奥尔良举行的计算机视觉和模式识别会议 CVPR上亮相。
爵士乐的精髓在于即兴演奏， NVIDIA 正在通过 AI 研究向这一流派致敬。也许有一天，图形创作者可以使用快速创建出的 3D 物体，来一场即兴表演。
这个被称为“NVIDIA 3D MoMa”的方法可以让建筑师、设计师、概念艺术家和游戏开发者迅速将物体导入图形引擎，并开始对其进行处理——修改比例、改变材质或尝试不同的照明效果。
NVIDIA Research 在庆祝爵士乐及其发源地新奥尔良的视频中展示了这项技术。本周，关于 3D MoMa 的论文将在 CVPR 上发表。
基于 2D 图像创建 3D 物体
逆渲染是将一系列静态照片重建为 3D 物体或场景模型的技术。 NVIDIA 图形学研究副总裁 David Luebke 表示： “该技术长期以来一直是统一计算机视觉和计算机图形学的关键。”
他表示：“NVIDIA 3D MoMa 渲染流水线可以将逆渲染问题的每个部分表示为 GPU 加速的可微分组件，然后使用现代 AI 机器和 NVIDIA GPU 的原始算力快速生成 3D 物体，且创作者可以在现有工具中自由地导入、编辑和扩展这些物体。”
为了使艺术家或工程师能够充分利用 3D 物体，其形式应能够导入游戏引擎、 3D 建模器和电影渲染器等各种被广泛使用的工具。带有纹理、材质的三角网格形式，就是此类 3D 工具使用的通用语言。
三角网格是用于定义 3D 图形和建模形状的基本框架
游戏工作室和其他创作者习惯于使用复杂的摄影测量技术来创建 3D 物体，这需要耗费大量的时间和精力。近期的神经辐射场（Neural Radiance Fields）研究可以快速生成物体或场景的 3D 模型，但并不是使用易于编辑的三角网格形式。
当在单个 NVIDIA Tensor Core GPU 上运行时， NVIDIA 3D MoMa 能在一个小时内生成三角网格模型。该流水线的输出结果与创作者现在使用的 3D 图形引擎和建模工具直接兼容。
流水线的重建功能包括 3D 网格模型、材质和照明。网格就像由三角形构建的 3D 形状混凝纸浆模型。有了它，开发者就可以依照自己的创意对物体进行修改。材质是叠加在 3D 网格上的 2D 纹理，就像人的皮肤一样。 NVIDIA 3D MoMa 通过对场景光线进行估算，使创作者能够在日后修改物体上的照明。
为虚拟爵士乐队调校乐器
为了展示 NVIDIA 3D MoMa 的功能， NVIDIA 的研究和创意团队首先从不同角度收集了五种爵士乐队乐器（小号、长号、萨克斯、架子鼓和单簧管）的约 100 张图片。
NVIDIA 3D MoMa 将 2D 图像重建为每种乐器的 3D 表示，并以网格形式呈现。然后， NVIDIA 团队将这些乐器从原始场景中取出，并将其导入 NVIDIA Omniverse 3D 模拟平台中进行编辑。
在任何传统图形引擎中，创作者都可以轻松为形状调换由 NVIDIA 3D MoMa 生成的材质，就像给网格穿上不同的衣服一样。例如该团队对小号模型采取了这种做法，将原来的塑料材质快速更换成黄金、大理石、木材或软木。
然后，创作者可以将新编辑的物体放入任何虚拟场景中。 NVIDIA 团队将这些乐器放入了经典的图形渲染质量测试康奈尔盒中。他们证明了虚拟乐器对光线的反应与在物理世界中完全一样：闪亮的铜管乐器反射出亮光，哑光的鼓皮则会吸收光线。
这些通过逆渲染生成的新物体可以作为复杂动画场景的构成要素。视频的最后展示了虚拟爵士乐队。
关于NVIDIA 3D MoMa的论文已于北京时间 6 月 23 日凌晨 2:30 分 CVPR 的分会场上发表。这是NVIDIA作者在本次会议上发表的38篇论文之一。进一步了解 NVIDIA Research 在 CVPR 上发布的内容。
爵士乐的精髓在于即兴演奏， NVIDIA 正在通过 AI 研究向这一流派致敬。也许有一天，图形创作者可以使用快速创建出的 3D 物体，来一场即兴表演。
这个被称为“NVIDIA 3D MoMa”的方法可以让建筑师、设计师、概念艺术家和游戏开发者迅速将物体导入图形引擎，并开始对其进行处理——修改比例、改变材质或尝试不同的照明效果。
NVIDIA Research 在庆祝爵士乐及其发源地新奥尔良的视频中展示了这项技术。本周，关于 3D MoMa 的论文将在 CVPR 上发表。
基于 2D 图像创建 3D 物体
逆渲染是将一系列静态照片重建为 3D 物体或场景模型的技术。 NVIDIA 图形学研究副总裁 David Luebke 表示： “该技术长期以来一直是统一计算机视觉和计算机图形学的关键。”
他表示：“NVIDIA 3D MoMa 渲染流水线可以将逆渲染问题的每个部分表示为 GPU 加速的可微分组件，然后使用现代 AI 机器和 NVIDIA GPU 的原始算力快速生成 3D 物体，且创作者可以在现有工具中自由地导入、编辑和扩展这些物体。”
为了使艺术家或工程师能够充分利用 3D 物体，其形式应能够导入游戏引擎、 3D 建模器和电影渲染器等各种被广泛使用的工具。带有纹理、材质的三角网格形式，就是此类 3D 工具使用的通用语言。
三角网格是用于定义 3D 图形和建模形状的基本框架游戏工作室和其他创作者习惯于使用复杂的摄影测量技术来创建 3D 物体，这需要耗费大量的时间和精力。近期的神经辐射场（Neural Radiance Fields）研究可以快速生成物体或场景的 3D 模型，但并不是使用易于编辑的三角网格形式。
当在单个 NVIDIA Tensor Core GPU 上运行时， NVIDIA 3D MoMa 能在一个小时内生成三角网格模型。该流水线的输出结果与创作者现在使用的 3D 图形引擎和建模工具直接兼容。
流水线的重建功能包括 3D 网格模型、材质和照明。网格就像由三角形构建的 3D 形状混凝纸浆模型。有了它，开发者就可以依照自己的创意对物体进行修改。材质是叠加在 3D 网格上的 2D 纹理，就像人的皮肤一样。 NVIDIA 3D MoMa 通过对场景光线进行估算，使创作者能够在日后修改物体上的照明。
为虚拟爵士乐队调校乐器
为了展示 NVIDIA 3D MoMa 的功能， NVIDIA 的研究和创意团队首先从不同角度收集了五种爵士乐队乐器（小号、长号、萨克斯、架子鼓和单簧管）的约 100 张图片。
NVIDIA 3D MoMa 将 2D 图像重建为每种乐器的 3D 表示，并以网格形式呈现。然后， NVIDIA 团队将这些乐器从原始场景中取出，并将其导入 NVIDIA Omniverse 3D 模拟平台中进行编辑。
在任何传统图形引擎中，创作者都可以轻松为形状调换由 NVIDIA 3D MoMa 生成的材质，就像给网格穿上不同的衣服一样。例如该团队对小号模型采取了这种做法，将原来的塑料材质快速更换成黄金、大理石、木材或软木。
然后，创作者可以将新编辑的物体放入任何虚拟场景中。 NVIDIA 团队将这些乐器放入了经典的图形渲染质量测试康奈尔盒中。他们证明了虚拟乐器对光线的反应与在物理世界中完全一样：闪亮的铜管乐器反射出亮光，哑光的鼓皮则会吸收光线。
这些通过逆渲染生成的新物体可以作为复杂动画场景的构成要素。视频的最后展示了虚拟爵士乐队。
关于NVIDIA 3D MoMa的论文已于北京时间 6 月 23 日凌晨 2:30 分 CVPR 的分会场上发表。这是NVIDIA作者在本次会议上发表的38篇论文之一。进一步了解 NVIDIA Research 在 CVPR 上发布的内容。
最新内容
| 手机 |
相关内容
变频器过载保护和过流保护有什么区
变频器过载保护和过流保护有什么区别？，变频器,频率,超过,损害,方法,负载，BCP55变频器过载保护和过流保护是两种不同的保护机制，用于保
高精度3D视觉技术，助力工业机器人实
高精度3D视觉技术，助力工业机器人实现汽车零部件高效上下料，工业机器人,助力,视觉,高精度,3D,算法，高精度3D视觉技术在工业机器人上
硅谷：设计师利用生成式 AI 辅助芯片
硅谷：设计师利用生成式 AI 辅助芯片设计，芯片,生成式,硅谷,优化,修改,方法，在硅谷，设计师们正在利用生成式人工智能（AI）来辅助芯片设计
碳化硅成为微芯片传感器中的新型超
碳化硅成为微芯片传感器中的新型超强材料，芯片,方法,结构,较大,传感器,缺陷，碳化硅（SiC）是一种新兴的超强材料，具有广泛的应用潜力，特别
什么是密封继电器，密封继电器的基本
什么是密封继电器，密封继电器的基本结构、特点、工作原理、应用、操作方法、主要问题、保养方法及发展历程，继电器,密封,工作原理,
创建更低延迟和更高效率的 5G 系统
创建更低延迟和更高效率的 5G 系统，延迟,系统,5G,优化,方法,网络架构，随着技术的不断发展，人们对通信系统的需求也在不断增加。5G技
什么是硅光电三极管，硅光电三极管的
什么是硅光电三极管，硅光电三极管的基本结构、优缺点、工作原理、应用、识别方法、检测、如何选用及发展历程，三极管,识别,工作原理
什么是节能变压器，节能变压器的基本
什么是节能变压器，节能变压器的基本结构、特点、工作原理、应用、操作规程、常见问题及发展前景，常见问题,结构,工作原理,负载,损耗
