论文解读-Advances in 3D Generation: A Survey

 

论文介绍

题目： Advances in 3D Generation: A Survey

发表年份是 2024年，综述性质的文章，是看到腾讯发布了混元3D大模型所以来看看这个论文

 

 

主要贡献

论文主要根据当前研究领域内不同的3D资产的生成方法进行了一个分类，将3D生成算法分为：前馈生成，基于优化的生成，基于过程的生成，基于新视图的生成。

 

整个论文的框架，以下图为结构，从3D的表达方式，即3D资产的不同表示方式入手，来介绍各种表示方法。

 

3D表示

其中3D表示是一个比较关键的部分，将表示方式分为三类，显式表达，隐式表达 和 混合表达，具体的有这几种表示方式

显式表达的有以下三种：

（1）点云，欧几里得空间中离散的点，每一个点都可以具有法线或者颜色等。

因为点云是由离散的点组成，点云表面是可微分的，所以可以使用可微分渲染管道来调整点云的位置和特征。

（2）Mesh，由于离散的顶点组成的多边形来围绕组成，一般是三角形，也可以推广为其他多边形。

将网格表示的集成到3D生成中，需要基于网格的可微渲染方法

（3）多个半透明的图层表示

分层深度图像表示，通过合并多个图层来扩充传统的深度图。

 

隐式表达的有以下两种

（4）神经辐射场 Neural Radiance Fields (NeRFs)

 

（5）神经隐式表面

 

混合表达的有以下三种

（6）体素网格

 

（7）三维平面表示

 

（8）混合表面表示方法

 

 

 

3D生成算法

todo 

 

 

3D数据集

3D数据库

一般是由RGB-D传感器来进行采集或生成的。典型的有ShapeNet，3D-future，ABO，GSO

多视图图片

介绍了几种从视频或者是从3D物体扫描得到的多视图的图片集合

单视图图片

 仅用单张图片来3D重建是一个很困难的，因为生成对抗性神经网络的，3D-aware GAN被提出以解决这类问题。

 

应用

 3D人物生成

 

3D人脸生成

 

一般物体和场景生成

 

3D编辑