苹果机器学习研究团队展示全新生成式 AI 技术 HUGS

本文共有1286个字。 # / a

苹果机器学习研究团队近日发布博文,展示了全新的生成式 AI 技术——HUGS(Human Gaussian Splats)。这项技术能够在 30 分钟内分析短视频,然后映射并创建新的动作和角度,以逼真的人像元素呈现。


苹果机器学习研究团队展示全新生成式 AI 技术 HUGS


苹果研究员 Anurag Ranjan 在推文中表示,HUGS 使用机器学习和计算机视觉技术,在原始输入数据较少的情况下,能够创建出逼真的人像元素。这一技术采用了 3D Gaussian Splatting 的方法,能够在场景中创建可移动的人类形象。



苹果官方介绍中提到,虽然神经渲染技术在静态场景的摄影测量方面已经有了长足的进步,但目前还无法推广到环境中自由移动的人类。而 HUGS 技术则填补了这一空白,为创建逼真的人像元素提供了新的解决方案。


该方法本身需要少量的主体视频,通常在场景中运动,并显示尽可能多的表面供系统工作。在某些情况下,该技术对源输入数据的要求很低,最少可以低至 50 到 100 帧的单目视频,相当于 2 到 4 秒的 24fps 视频。



苹果声称,该系统已经过训练,可以“在 30 分钟内解开静态场景和完全可动画化的人类化身”。此外,苹果表示 SMPL 体模型虽然用于初始化人类高斯模型,但无法捕获每个细节。对于未建模的元素(如布料和头发),该过程可以偏离 SMPL 模型,来填补模型捕获中的空白。




苹果官方表示从训练视频到以 60fps 的渲染速度输出,能够在半小时完成人体建模和“最先进的渲染质量”动画,这比 NeuMan 和 Vid2Avatar 等其他方法快 100 倍。


总的来说,苹果发布的全新生成式 AI 技术 HUGS 为人像元素的创建提供了新的解决方案。这项技术能够在短时间内分析短视频并创建逼真的人像元素,具有广泛的应用前景。



版权声明:本文来源自网络,经修正后供个人鉴赏、娱乐,如若侵犯了您的版权,请及时联系我们进行删除!

添加新评论

暂无评论