论文简要笔记-NeRF加速方向

1. Direct Voxel Grid Optimization: Super-fast Convergence for Radiance Fields Reconstruction

发表信息

CVPR2022 Oral

论文要解决什么问题

NeRF训练和渲染的加速。NeRF慢最主要的原因就是在渲染的时候需要每一个采样点都用MLP去计算一次，论文利用显式隐式结合的想法，将渲染时的MLP推理变成了三线性插值运算，加速了训练和渲染，同时能保证渲染质量。

论文的核心思想

文章的pipline如上图所示，DVGO将3D场景表示分解为两个显式的网格和一个MLP来表示。其中一个显式网格存储density，第二个显式网格存储feature（其实就是一个一维向量），density和feature都存储在每一个立方体的顶点上，所以显式网格内任意一个点的feature和density都可以由该点所在网格的8个顶点进行三线性插值得到。将显式网格中一点的feature和ray view一起输入到MLP中，就能得到该点在给定ray view时的color。训练时，需要优化的参数就是两个显式网格里边的值，还有MLP的参数。

论文的结果

2. PlenOctrees for Real-time Rendering of Neural Radiance Fields

发表信息

CVPR2021