导航

随笔分类 -  归档 / AI葵的NeRF讲解

CUDA教学（2）：反向传播

摘要：cuda 没有提供自动求导机制，因此我们需要完成以下两步，实现反向传播。 一、计算所有 trainable 参数的偏微分 判断哪些参数是 trainable 的？ 本例中，输入 f 的坐标是固定的，所以 uvw 的值也是固定的，因此只需要求 feats_interp对各个顶点的特征量 \(f_i\) 阅读全文

posted @ 2024-05-28 20:05 7hu95b 阅读(449) 评论(0) 推荐(0)

CUDA教学（1）：前向转播

摘要：一个简单的CUDA实践。用于实现前向传播。 一、算法设计 （一）问题背景描述和算法设计？ 问题描述：计算某个点 f 的特征值的“插值”结果。 以二维为例，为了“插值”得到 f 的特征值，需要用到：各顶点的特征值 \(f_i\) 和 f 距离该顶点对面的两条边的距离的乘积之和。 如果扩展到三维，那么需 阅读全文

posted @ 2024-05-28 20:03 7hu95b 阅读(171) 评论(0) 推荐(0)

博主的学习小Tips

摘要：博主给出的学习小 Tips。 Suggestions 在 Google scholar 中查找 NeRF 中的论文； 使用 enoip、pytorch-lightning 简化代码书写； 专业领域名词 rasterization: 把 3D 物体投影到成像面 阅读全文

posted @ 2024-05-28 19:56 7hu95b 阅读(47) 评论(0) 推荐(0)

Ⅶ. ngp_pl

摘要：作者实现的 ngp_pl 代码还存在的两个问题： 收敛后的采样点数比NGP多（这导致计算量变大，渲染帧率下降）； 有些场景会失败； 一、数据准备 代码都在 dataset 文件夹下面。 作者支持大部分算法的数据集格式，包括： NSVF：讲解的时候展示了 nsvf.py 这个文件，但是自己没找到它 N 阅读全文

posted @ 2024-05-28 19:55 7hu95b 阅读(117) 评论(0) 推荐(0)

Ⅵ. Instant-NGP

摘要：NGP 改用了 Grid based 的方法。NeRF 采用了一个很大的神经网络（8层、每层256个神经元），直接计算每个采样点的 \(\sigma\) 和 \(c\) 就会很慢；NGP则是先找到所有包含这个点的Voxel，利用Voxel的顶点进行“三维内插”（trilinear）得到"特征值"，把 阅读全文

posted @ 2024-05-28 19:53 7hu95b 阅读(374) 评论(0) 推荐(0)

V. Coordinate MLP

摘要：V. Coordinate MLP Coordinate-MLPs 任务描述：把一张图片 Normalize 它的坐标，然后经过一个多层 MLP 后输出其颜色。 ‍ 阅读全文

posted @ 2024-05-28 19:48 7hu95b 阅读(25) 评论(0) 推荐(0)

IV. Mip-NeRF

摘要：Mip-NeRF算法思想。 Paper explanation Mip-NeRF360 and BlockNeRF 一、NeRF 的缺点 所有采样点都是：光心+像素中心的射线确定的，如果给定的图像分辨率比较低，那么每个像素会很大，中心点是不足以代表整个像素的颜色的；这会导致 NeRF 锯齿化太严重的 阅读全文

posted @ 2024-05-28 19:48 7hu95b 阅读(271) 评论(0) 推荐(0)

III. NeRF 代码框架

摘要：NeRF 代码框架。 一、所有深度学习的大致框架 我们看任何一个深度学习代码，都是找这三部分的位置，分析其作用。 最后把 Loss 的梯度更新到 DNN 中，便能不断提高网络的准确度。 二、训练代码的细节 （一）采样区间 首先，作者通过设置 near 和 far 限制了采样区间，如下图所示为 \([ 阅读全文

posted @ 2024-05-28 19:46 7hu95b 阅读(266) 评论(0) 推荐(0)

II. 在 Google Colab 上运行 NeRF

摘要：在 Google Colab 上运行 NeRF 算法。 一、运行官方数据集 直接跟着 NeRF (Neural Radiance Fields) tutorial using google colab 这个视频操作即可，顺便验证一下 CoLab 作为以后深度学习环境的可行性。 二、训练自己的数据 博 阅读全文

posted @ 2024-05-28 19:44 7hu95b 阅读(262) 评论(1) 推荐(0)

I. NeRF 及其衍生算法的初步探究

摘要：I. NeRF 及其衍生算法的初步探究 视频链接：【AI講壇】NeRF與它的快樂夥伴們 [Neural radiance fields] NeRF 的主要优势：能够正确处理反光、估算的深度较准、等等。 一、nerf in the wild Google Research、未开源 NeRF in th 阅读全文

posted @ 2024-05-28 19:42 7hu95b 阅读(223) 评论(0) 推荐(0)