RodinHD:可根据肖像生成高保真3D头像模型 头发细节也有了


在数字虚拟世界构建的浪潮中,如何将一张张肖像照片转化为高保真的3D角色,一直是技术探索的热点。现在,RodinHD技术的出现,可实现根据肖像生成高保真3D头像模型,头发细节也有了。

产品入口:https://top.aibase.com/tool/rodinhd

RodinHD技术的核心在于其创新的三平面拟合与生成框架。在拟合阶段,技术为每个角色定制一个高分辨率的三平面,并配备一个共享解码器来渲染逼真图像。而在生成阶段,通过学习基本和上采样扩散模型的级联,生成细节丰富的高分辨率三平面。这一过程中,条件肖像图像以分层方式被注入,为3D化身的细节呈现提供了强有力的支持。

在多角色连续拟合三平面的过程中,解码器可能会遗忘先前角色的知识,过度适应新角色。为了解决这一问题,RodinHD引入了任务重放的数据调度策略和权重合并正则化项,有效提升了解码器对新角色细节的捕捉和呈现能力。

在高分辨率三平面扩散方面,RodinHD通过优化噪声调度,使得32通道的三平面即使在相同噪声水平下也更为稳定,减少了细节的丢失。此外,为了从肖像图像中提取更多细节,RodinHD利用预训练的变分自编码器进行多尺度特征表示的计算,确保了底层视觉细节的完整保留。

RodinHD技术的突破,不仅在于其对复杂细节如发型的捕捉,更在于其对现有3D化身生成技术的全面革新。经过对46000个头像的优化训练,RodinHD生成的3D角色在细节上超越了以往任何方法,并且能够适应各种野生肖像输入。

合成肖像生成条件头像

从野外肖像头像创建

文本条件下的头像创建

划重点:

🛠️ **三平面拟合与生成**:RodinHD通过两个阶段——拟合与生成,为每个角色定制高分辨率的三平面和共享解码器。

🔄 **灾难性遗忘的克服**:通过任务重放和权重合并正则化,RodinHD有效解决了解码器在连续拟合中的遗忘问题。

🎨 **高分辨率三平面扩散**:优化的噪声调度和多尺度特征表示,让RodinHD在3D角色的细节呈现上达到了前所未有的高度。