阿联酋:MBZUAI如何通过仅使用网络摄像头在几秒钟内创建虚拟形象

想象一下,你正在与世界另一端的人实时对话,并能看到他们的面部表情,就像他们正坐在你面前一样。这正是(MBZUAI)的研究人员所承诺的。



该系统实时捕捉细微的动作和表情,创建可以在虚拟环境中即时动画化的头像。Bermudez描述了这项技术的易用性,无需复杂的设备或数据。“即使是眨眼或微笑这样的小动作也能捕捉到,”她补充道。Voodoo XP的研究人员包括Phong Tran(MBZUAI学生)、Egor Zakharov(苏黎世联邦理工学院)、Long-Nhat Ho(MBZUAI学生)、Anh Tuan Tran(VinAI Research)、Liwen Hu(Pinscreen)和教授Li。

Bermudez还展示了XMem++,这是一种增强的视频对象分割方法。它通过引入精细的内存管理策略和轻量级注意力机制,提高了内存效率和分割精度。XMem++专为长视频序列设计,平衡了实时性能与高质量蒙版传播,使其适用于视频编辑、增强现实和自主系统等应用。

“这对许多视觉效果艺术家来说很繁琐,比如为电影制作特效的艺术家,因为他们通常需要精细地调整很多细节,”她解释道。“这个工具非常完善,你可以停止生成,进行修复,并传播。所以,它会相应地调整。”

这项技术已经被视觉效果社区采用。“当它在2023年推出时,社区立即开始在Nuke中使用它,”她说道,指的是行业标准合成软件。“所以,这里是Nuke,这是VFX艺术家使用的工具,他们将这个工具集成到软件中,基本上帮助他们完成这种效果,比如让某人消失……这就是用户如何使用我们的工具,”她在展示如何在她的手机上工作时说道。XMem++是开源的,可以免费获取;“它具有他们可以使用的所有关于跟踪、精炼的功能,”她补充道。“正如你所见,用户来回移动。他选择人物,然后它就传播开来。然后他得到蒙版,他可以进行跟踪效果。”

除了Li和Bermudez之外,XMem++还由一个包括Maksym Bekuzarov(MBZUAI校友)和Joon-Young Lee(Adobe)的研究团队开发。

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注