首页 / 行业
NVIDIA Omniverse Audio2Face助力幻影未来打造高品质AI数智人Kiko
2022-11-10 10:07:00
元宇宙热潮迭起,推动了虚拟数字人产业发展。当前,随着虚拟人技术日益成熟,相关产业链逐渐成型,以及虚拟人的智能化、多元化应用不断完善,数智人发展逐渐成为行业趋势。
深圳幻影未来信息科技有限公司(以下简称“幻影未来”)专注于虚拟人互动的内容研发,是领先的虚拟人及互动方案、AI 数智人创新提供商。借助 NVIDIA Omniverse Audio2Face 和 NVIDIA RTX GPU,幻影未来加速虚拟人 Kiko 的语音及表情训练,助力打造高品质 AI 数智人。
虚拟人语音互动与表情变化仍需优化
虚拟现实技术的演进和虚拟人行业的逐步发展,带动直播、电商、娱乐行业等逐渐开展虚拟人产业布局。幻影未来从虚拟人直播入手,蓄力将虚拟人 Kiko 打造成虚拟人 IP。由于目前虚拟人主播与观众之间的沟通场景仍需丰富,幻影未来立足技术背景,着力开展虚拟人的技术升级。
利用现有技术,虚拟人主播可实现语音输入输出及相应动画展示,但仍缺乏相应的互动力和表现力,因此,在语音互动和表达的基础上,驱动虚拟人产生丰富而逼真的表情以提升与用户之间的沟通水平、加强虚拟人与用户间的情感交流仍是行业发展的痛点。
Omniverse Audio2Face + RTX GPU
加速虚拟人训练与升级
幻影未来通过 NVIDIA 初创加速计划了解到,借助 NVIDIA Omniverse Audio2Face 可以直接将虚拟人语音转换为嘴型和表情动画,其在使用和测试后,对输出的表情 BS 进行改造并训练自定义模型,同时借助 NVIDIA RTX GPU,加速对虚拟人训练大量数据的交换与处理。
Omniverse Audio2Face 是一款由 AI 提供技术支持的应用,仅凭借一个音频来源便能生成面部表情动画。Audio2Face 可简化 3D 角色的动画制作,与任何配音音轨匹配,在交互式应用场景中可以使用该应用,也可将其用作传统的面部动画创作工具,实时运行结果或烘焙结果都可轻松获得。借助 Omniverse Audio2Face,幻影未来只需录制语音音轨,输入到该应用中,即可生成生动的虚拟人面部表情。
虚拟人模型训练包括数据采集和清洗、数据处理和数据训练,训练过程中数据量庞大,对数据处理能力要求较高,幻影未来借助 RTX GPU,相较于常规硬件训练方法而言,训练时间可缩短至 10 分钟左右,训练速度提高了 99% 以上。
数智人服务场景拓宽
元宇宙基础服务潜力无限
NVIDIA Omniverse Audio2Face 与 NVIDIA GPU 加速平台赋能幻影未来实现虚拟人语音和表情动画升级,使传统虚拟人向数智人的升级成为了可能。幻影未来的虚拟人表现力解决方案助力丰富数智人服务场景,推动了元宇宙基础服务的丰富和发展。
幻影未来创始人兼 CTO 姜龙表示,“未来元宇宙中的应用软件一定不是以 APP 形式展现,也一定不会是需要通过点击操控 UI 的形式出现,我相信未来元宇宙中的所有服务是以数智虚拟人形式出现,通过自然交互的方式来进行,这一天不会太远。”
NVIDIA 初创加速计划
深圳幻影未来信息科技有限公司是 NVIDIA 初创加速计划 (NVIDIA Inception) 会员企业。NVIDIA 初创加速计划为免费会员制、旨在培养颠覆行业格局的优秀创业公司。该计划联合国内外知名的风投机构,创业孵化器,创业加速器,行业合作伙伴以及科技创业媒体等,打造创业加速生态系统。能够提供产品折扣,技术支持,市场宣传,融资对接,业务推荐等一系列服务,加速创业公司的发展。
审核编辑:汤梓红最新内容
手机 |
相关内容
智能传感器助力打造数字经济数字世
智能传感器助力打造数字经济数字世界,数字,经济,传感器,助力,智能,及时发现,PCM1801U智能传感器是一种能够感知环境并将感知结果转FPGA学习笔记:逻辑单元的基本结构
FPGA学习笔记:逻辑单元的基本结构,结构,单元,逻辑运算,数字,信号,结构单元,FPGA(Field-Programmable Gate Array)是一种可编程逻辑器件Efuse是什么?聊聊芯片级的eFuse
Efuse是什么?聊聊芯片级的eFuse,状态,编码器,故障,加密,芯片,配置信息,Efuse是一种可编程的电子熔断器,用于在芯片级别实现非易失性存应用在智能空调中的数字温度传感芯
应用在智能空调中的数字温度传感芯片,数字,芯片,温度,智能,数据,实时,数字温度传感芯片是一种用于测量环境温度的MAX3243CAI集成电浅析可配置混合信号芯片
浅析可配置混合信号芯片,芯片,信号,混合,配置,灵活性,性能,MC33072DR2G可配置混合信号芯片是一种集成电路(IC),它包含了数字和模拟电路浅析CD4094BE芯片在电路中的应用及
浅析CD4094BE芯片在电路中的应用及特点,芯片,键盘,数字,引脚,移位寄存器,控制,CD4094BE是一种串/并转换器和8位移位寄存器芯片,主要数智城市共建下,数字基础设施将无处
数智城市共建下,数字基础设施将无处不在,数字,经济发展,智能,平台,能源,数字化,随着科技的进步和数字化的浪潮,数智城市的建设已经成逐渐迸发市场潜力的接触觉传感器
逐渐迸发市场潜力的接触觉传感器,传感器,接触,触觉,手术器械,虚拟现实,感知,AD8042ARZ接触觉传感器是一种能够模拟人类触觉感知的技