Facebook研发注视点AI渲染 意在实现更高分辨率的VR头显

眼球追踪、注视点渲染（Foveated rendering ）被许多VR硬件技术厂商视为下一代VR头显的突破口。眼球追踪顾名思义，而注视点渲染可以根据人眼的注视过程，为用户最佳视觉点（fovea）呈现清晰精准的画面，而周边视觉范围则是更简单、更模糊的画面。日前，Facebook现实实验室的工程师们提出了DeepFovea，一种人工智能辅助的替代方案，可以创建“半透明化的外围视频”，而不是实际呈现精确的外围图像。这个新过程被称为“凹形重建”，Facebook表示，它可以将RGB视频压缩14多倍，且用户感知到的画面质量没有显著下降。

上图：DeepFovea使用人工智能“重建”外围像素，且不会出现保真度丢失的情况，节省了相当多的处理时间。

在捕捉视频流时，DeepFovea只对每个视频帧中10%的像素进行采样，主要集中在（但不全是）用户眼睛注视的区域，如上图中的蜥蜴头。相比之下，周边区域仅由分散的点采样，这些分散的点离眼睛的注视区域越远，密度越小。然后，系统使用训练有素的生成对抗神经网络从这些小型样本中重建每一帧画面，同时依靠视频流的时间和空间内容稳定地填充视频细节。

如上图所示，未完全采样的蜥蜴头在帧与帧之间基本上无法区分，而“重建”图像中相邻的树皮没有“参考”像素那么清晰和详细。但事实并非如此。传统的注视点渲染系统将这些像素描绘成低分辨率的平面阴影块，而DeepFovea保留了，或者说更准确地保留了更多的原始形状和颜色。

与注视点渲染相比，DeepFovea的关键之处是更好地组合了电源效率和图像质量。Facebook声称，渲染减少14倍，这意味着它将能够向以依赖凝视检测的显示器提供实时、低延迟的视频——这是构建轻量级VR和AR头显的必要步骤，显示原来在云空间中呈现的高分辨率图形。人们认为全天佩戴的Oculus AR头显不切实际，除非移动芯片在实时3D地图上的功耗能大幅降低，像我们观看流媒体视频时的功耗一样。

Facebook的Michael Abrash首次暗示了DeepFovea背后的概念：在未来五年内把以深度学习为基础的注视点渲染和良好的眼球追踪结合在一起，从而实现更高分辨率的VR头显，比如“Half Dome”原型。在今年的OC6大会上，Abrash表示，公司将在自己的办公室里测试下一代的Half Dome硬件，然后再将其向公众展示。

研发分辨率清晰视觉

免责声明：本网信息来自于互联网，目的在于传递更多信息，并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实，对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺，并请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益，请及时联系我们，本站将会在24小时内处理完毕。