Consistent Multi-view 3D Head Reconstruction in 0.08 seconds
16 hours ago
- SHELLS使用共享的DinoV2骨干网络和LoRA适配，从输入图像中提取每视角的特征图。
- 一个图阶段投影采样特征，并通过基于XCiT的变换器进行处理，以回归出粗略网格。
- 粗略网格沿法线位移，形成用于表面感知特征采样的采样壳。
- 一个共享的变换器将基于壳的特征与全分辨率标记模板聚合，预测高保真网格。
- SHELLS可逐帧应用于动态面部表演，产生时间上平滑且富有表现力的配准。
- 它通过将内口腔等遮挡区域与可见区域关联，整体回归所有顶点，从而处理遮挡区域。
- 训练时的随机相机丢失和均值-方差特征融合使得SHELLS在推理时对输入视角数量具有鲁棒性。
- 即使只有两个输入视角，重建结果仍然合理且详细，并且随着视角增多而优雅地扩展。