Adventures in Neural Rendering
3 months ago
- #neural-networks
- #machine-learning
- #rendering
- 神经网络在渲染中的应用日益广泛，包括抗锯齿、超分辨率、纹理压缩、材质表示和间接光照等任务。
- 多层感知机(MLP)可用于渲染数据编码，其结构通常用节点数描述（例如3-3-3-1）。
- MLP由输入层、隐藏层和输出层组成，每个节点通过加权求和及ReLU或LeakyReLU等激活函数处理输入。
- 训练MLP涉及前向传播、损失计算和反向传播以调整权重与偏置。
- MLP可编码辐射度和辐照度等信号，在存储需求相近时质量有时优于球谐函数(SH)。
- 小型MLP（如3-3-3-1）能较好近似辐射度，但对辐照度效果欠佳，需要更大网络才能达到相当精度。
- 测试表明MLP在深度编码和实时环境光遮蔽缓存中有潜力，但推理成本较高。
- 镜面BRDF编码具有挑战性，但通过重参数化（如Rusinkiewicz方法）可提升小型MLP的效果。
- MLP在信号编码领域前景广阔，但需精细调节参数、层数和激活函数，且训练和推理成本较高。