大象秒变挖掘机,三维变形新突破,无需额外训练

【导读】南京大学与北京大学提出MorphAny3D,无需训练即可让三维生成模型实现跨类别平滑变形。通过创新注意力机制融合源与目标特征,精准控制结构与时序,轻松完成复杂变形,效果远超传统方法。 三维变形旨在实现源物体到目标物体的平滑过渡。尽管二维图像生成模型已推动图像变形技术取得显著进展,但三维变形因其空间结构的复杂性,仍面临以下瓶颈: (1)跨类匹配难题:传统的基于匹配的三维变形方法极其依赖源与目标之间的密集对应关系。在处理跨类别物体(如「大象变挖掘机」)时,这种匹配机制往往失效,导致变形过程中结构扭曲甚至崩溃,如图1-(a) 所示。 (2)时序一致性缺失:另一种直观思路是先利用二维变形生成序列,再通过三维生成模型进行「升维」。然而,该方法缺乏帧间约束,难以保证变形的时序一致性,如图1-(b) 所示。 图1:不同变形方案的定性对比图,为控制变形进度的变形权重。 当前,三维生成领域进展迅速,特别是Trellis[1]通过将三维资产编码为结构化隐变量(Structured Latent, SLAT),实现了高质量且多样的图生3D能力。 由此引发思考:能否将SL...

查看原文 →