Apple releases open-source model that instantly turns 2D photos into 3D views
2 months ago
- #3D Gaussian Splatting
- #View Synthesis
- #Real-time Rendering
- SHARP是一种通过单张图像实现照片级真实感视图合成的技术，可在GPU上1秒内完成3D高斯场景参数回归。
- 3D高斯表征支持对邻近视角进行高分辨率图像的实时渲染，并支持公制相机位移。
- 相比现有模型，SHARP将LPIPS指标降低25-34%，DISTS指标降低21-43%，同时显著提升速度，创下新标杆。
- 安装需创建Python环境并通过pip安装依赖项，模型检查点会自动下载或可手动指定。
- 输出为兼容多种渲染器的3D高斯溅落文件(.ply)，遵循OpenCV坐标规范。
- 支持带相机轨迹的视频渲染（需CUDA显卡），gsplat渲染器首次启动时初始化较慢。
- 论文包含定量与定性评估，示例页面提供视频对比。
- 若使用本成果请引用指定论文，代码库致谢多个开源项目贡献。
- 代码与模型许可证详见仓库的LICENSE和LICENSE_MODEL文件。