摘要:
cuda 没有提供自动求导机制,因此我们需要完成以下两步,实现反向传播。 一、计算所有 trainable 参数的偏微分 判断哪些参数是 trainable 的? 本例中,输入 f 的坐标是固定的,所以 uvw 的值也是固定的,因此只需要求 feats_interp对各个顶点的特征量 \(f_i\) 阅读全文
posted @ 2024-05-28 20:05
7hu95b
阅读(377)
评论(0)
推荐(0)
摘要:
一个简单的CUDA实践。用于实现前向传播。 一、算法设计 (一)问题背景描述和算法设计? 问题描述:计算某个点 f 的特征值的“插值”结果。 以二维为例,为了“插值”得到 f 的特征值,需要用到:各顶点的特征值 \(f_i\) 和 f 距离该顶点对面的两条边的距离的乘积之和。 如果扩展到三维,那么需 阅读全文
posted @ 2024-05-28 20:03
7hu95b
阅读(114)
评论(0)
推荐(0)
摘要:
博主给出的学习小 Tips。 Suggestions 在 Google scholar 中查找 NeRF 中的论文; 使用 enoip、pytorch-lightning 简化代码书写; 专业领域名词 rasterization: 把 3D 物体投影到成像面 阅读全文
posted @ 2024-05-28 19:56
7hu95b
阅读(8)
评论(0)
推荐(0)
摘要:
作者实现的 ngp_pl 代码还存在的两个问题: 收敛后的采样点数比NGP多(这导致计算量变大,渲染帧率下降); 有些场景会失败; 一、数据准备 代码都在 dataset 文件夹下面。 作者支持大部分算法的数据集格式,包括: NSVF:讲解的时候展示了 nsvf.py 这个文件,但是自己没找到它 N 阅读全文
posted @ 2024-05-28 19:55
7hu95b
阅读(82)
评论(0)
推荐(0)
摘要:
NGP 改用了 Grid based 的方法。NeRF 采用了一个很大的神经网络(8层、每层256个神经元),直接计算每个采样点的 \(\sigma\) 和 \(c\) 就会很慢;NGP则是先找到所有包含这个点的Voxel,利用Voxel的顶点进行“三维内插”(trilinear)得到"特征值",把 阅读全文
posted @ 2024-05-28 19:53
7hu95b
阅读(265)
评论(0)
推荐(0)
摘要:
V. Coordinate MLP Coordinate-MLPs 任务描述:把一张图片 Normalize 它的坐标,然后经过一个多层 MLP 后输出其颜色。 阅读全文
posted @ 2024-05-28 19:48
7hu95b
阅读(11)
评论(0)
推荐(0)
摘要:
Mip-NeRF算法思想。 Paper explanation Mip-NeRF360 and BlockNeRF 一、NeRF 的缺点 所有采样点都是:光心+像素中心的射线确定的,如果给定的图像分辨率比较低,那么每个像素会很大,中心点是不足以代表整个像素的颜色的;这会导致 NeRF 锯齿化太严重的 阅读全文
posted @ 2024-05-28 19:48
7hu95b
阅读(213)
评论(0)
推荐(0)
摘要:
NeRF 代码框架。 一、所有深度学习的大致框架 我们看任何一个深度学习代码,都是找这三部分的位置,分析其作用。 最后把 Loss 的梯度更新到 DNN 中,便能不断提高网络的准确度。 二、训练代码的细节 (一)采样区间 首先,作者通过设置 near 和 far 限制了采样区间,如下图所示为 \([ 阅读全文
posted @ 2024-05-28 19:46
7hu95b
阅读(189)
评论(0)
推荐(0)
摘要:
在 Google Colab 上运行 NeRF 算法。 一、运行官方数据集 直接跟着 NeRF (Neural Radiance Fields) tutorial using google colab 这个视频操作即可,顺便验证一下 CoLab 作为以后深度学习环境的可行性。 二、训练自己的数据 博 阅读全文
posted @ 2024-05-28 19:44
7hu95b
阅读(202)
评论(1)
推荐(0)
摘要:
I. NeRF 及其衍生算法的初步探究 视频链接:【AI講壇】NeRF與它的快樂夥伴們 [Neural radiance fields] NeRF 的主要优势:能够正确处理反光、估算的深度较准、等等。 一、nerf in the wild Google Research、未开源 NeRF in th 阅读全文
posted @ 2024-05-28 19:42
7hu95b
阅读(169)
评论(0)
推荐(0)