浙大提出新SOTA技術SIFU：只需一張圖片即可重建高品質3D人體模型

在AR、VR、3D打印、场景搭建以及电影制作等多个领域中，高质量的穿着衣服的人体3D模型非常重要。

传统方法创建模型需大量时间，专业设备和技术人员才可完成。

相反，在日常生活中，我们通常使用手机相机或在网页上找到的人像照片。

因此，一种能从单张图像准确重建3D人体模型的方法可以显著降低成本，并简化独立创作的过程。

以往方法（左）与本文方法技术路线比较（右）

以往的深度学习模型用于3D人体重建，往往需要经过三个步骤：从图像中提取2D特征，将2D特征转到3D空间，以及3D特征用于人体重建。

然而这些方法在2D特征转换到3D空间的阶段，往往忽略了人体先验的引入，导致特征的提取不够充分，最终重建结果上会出现各种缺陷。

SIFU与其他SOTA模型重建效果比较

此外，在对纹理预测的阶段，以往模型仅仅依靠训练集中学得的知识，缺少真实世界的先验知识，也往往导致不可见区域的纹理预测较差。

SIFU在纹理预测阶段引入先验知识，增强不可见区域（背部等）的纹理效果。

对此，来自浙江大学ReLER实验室的研究人员提出SIFU模型，依靠侧视图条件隐函数从单张图片重建3D人体模型。

图片

论文地址：https://arxiv.org/abs/2312.06704

项目地址：https://github.com/River-Zhang/SIFU

该模型通过在2D特征转换到3D空间引入人体侧视图作为先验条件，增强几何重建效果。并在纹理优化阶段引入预训练的扩散模型，来解决不可见区域纹理较差的问题。

模型结构

模型pipeline如下：

图片

该模型运行可分为两个阶段，第一阶段借助侧隐式函数重建人体的几何（mesh）与粗糙的纹理（coarse texture），第二阶段则借助预训练的扩散模型对纹理进行精细化。

在第一阶段中，作者设计了一种独特的Side-view Decoupling Transformer，通过global encoder提取2D特征后，在decoder中引入了人体先验模型SMPL-X的侧视图作为query，从而在图像2D特征中解耦出人体不同方向的3D特征（前后左右），最后用于重建。

该方法成功的在2D特征转换到3D空间时结合人体先验知识，从而使得模型有更好的重建效果。

在第二阶段，作者提出一种3D一致性纹理优化流程（3D Consistent Texture Refinement），首先将人体不可见的区域（侧面、背面）可微渲染成视角连续的图片集，再借助在海量数据中学习到先验知识的扩散模型，对粗糙纹理图片进行一致性编辑，得到更精细的结果。最后通过精细化前后的图片计算损失来优化3D模型的纹理贴图。

实验部分

更高的重建精度

在实验部分，作者使用全面多样化的测试集对他们的模型进行测试，包括CAPE-NFP、CAPE-FP和THuman2.0，并与以往发表在各大顶会的单张图片人体重建SOTA模型进行比较。经定量测试，SIFU模型在几何重建与纹理重建中均表现出了最好的效果。

定量評估幾何重建精確度

定量評估紋理重建效果

 

使用網路中公開圖片作為輸入進行定性效果展示

更強烈的穩健性

以往的模型在應用訓練集以外的資料時，由於估計的人體先驗模型SMPL/SMPL-X不夠準確，往往導致重建結果與輸入圖片相差甚遠，難以投入實際應用。

對此，作者專門對模型的穩健性進行了測試，透過在ground truth先驗模型參數中加入擾動使其位姿發生偏移，模擬真實場景中SMPL-X估計不準確的情況，來評估模型重建的精確度。結果顯示SIFU模型在該情況下，依然具有最佳的重建精度。

評估模型面對有誤差的人體先驗模型時的穩健性

#使用真實世界中的圖片，在先驗人體模型估計不準確的情況下，SIFU依然有較好的重建效果

更廣闊的應用場景

SIFU模型的高精度高品質重建效果，使得其具有豐富的應用場景，包括3D列印、場景建立、紋理編輯等。

3D列印SIFU重建的人體模型

SIFU用於3D場景建立

##借助公開動作序列數據，可對SIFU重建的模型進行驅動

###總結#######本文提出側視圖條件隱式函數和3D一致性紋理編輯方法，彌補了以往工作在2D特徵轉換到3D空間、紋理預測時對先驗知識引入的不足，極大的提高了單張圖片人體重建的精度和效果，使模型在真實世界應用中具有顯著的優勢，也為該領域未來的研究提供了新的思路。 ############參考資料：######https://arxiv.org/abs/2312.06704###

以上是浙大提出新SOTA技術SIFU：只需一張圖片即可重建高品質3D人體模型的詳細內容。更多資訊請關注PHP中文網其他相關文章！