实时渲染前沿研究:开篇介绍

大家好,本研究的目的在于研究和实现实时渲染路径追踪中的难点,感谢大家一起来研究学习,谢谢!

本研究偏向于结合深度学习和图形学,目前,我们已经完成了下面的工作:

  • 路径追踪基础课
    本培训班的课程是基于”路径追踪“技术的离线渲染器零基础实战开发的基础课程。
    我们介绍相关的图形学和数学基础,给出详细的数学推导、伪代码和实现代码,最终带领大家使用最新的RTX光线追踪管线以及计算管线的计算着色器,做出一个可以运行的路径追踪离线渲染器。
  • 构造和遍历BVH
    实现了LBVH使用Ray Packet加速
  • 深度学习基础课
    本课程带领同学从0开始学习全连接和卷积神经网络,进行数学推导,并且实现可以运行的Demo程序
  • 深度学习降噪专题课
    本课程基于全连接和卷积神经网络,学习LBF、KPCN、WSPK等深度学习降噪算法,实现了WSPK实时蒙特卡洛降噪算法,介绍了深度学习降噪算法的实现思路,演示了实现的效果

我们预计将会在本次研究中,完成下面的研究和实现:

DLSS

通过毫秒级时间使图像清晰16倍,Facebook提出的DLSS算法介绍,提出了在实时渲染中使用深度学习实现超采样,从而能够只渲染低分辨率的图片,然后超采样为高分辨率的图片

参考资料

改进的论文:

新的采样方法:ReSTIR

该采样方法是针对有大量光源的优化(少数光源的话就直接用NEE,进行随机光源采样)

  • 使用ReSTIR采样方法
  • 使用RTXDI计算直接光照,这是基于ReSTIR的
  • 使用ReSTIR GI计算间接光照
    • 可以将其进一步改进为ReSTIR PT

我们应该至少基于ReSTIR计算直接光照,并考虑使用ReSTIR GI或者ReSTIR PT(优先)来计算间接光照

ReSTIR的参考资料

ReSTIR GI/PT的参考资料

Real-time Neural Radiance Caching for Path Tracing

本论文提出了使用神经网络实现Radiance Caching,可从中获得间接光照

用这个方法的好处是:

  • 加快路径追踪
    因为间接光照可从中直接获得,不需要射线再进行bounce来计算
  • online训练
    不需要预训练,直接在线训练
  • 比较简单
    神经网络就是一个简单的MLP(全连接网络)

这个方法可以跟ReSTIR结合,即:
1.使用ReSTIR针对the first path vertex进行直接光照采样
2.间接光照从神经网络中获得

Instant Neural Graphics Primitives with a Multiresolution Hash Encoding

Real-time Neural Radiance Caching for Path Tracing可结合本论文提出的输入编码的方法,进一步提升最终的渲染质量

本论文提出对输入进行多分辨率的Hash编码,从而让很小的网络(如MLP)也能学到很高的质量

本文貌似主要适用于MLP网络

GPU构建BVH

目标:

  • 实现PLOC算法,GPU构建BVH
  • 研究更新BVH树

参考资料

https://meistdan.github.io/publications/bvh_star/paper.pdf
https://trepo.tuni.fi//bitstream/handle/10024/126597/paper.pdf?sequence=1
https://meistdan.github.io/publications/ploc/paper.pdf
https://meistdan.github.io/publications/prbvh/paper.pdf
https://github.com/meistdan/ploc
https://github.com/madmann91/bvh

其它

参考资料

感觉这文章很牛:浅析ToG2021论文Vectorization for Fast, Analytic, and Differentiable Visibility

https://www.yuque.com/u1408899/zd393l/bbtshg?singleDoc

我实现的步骤

1.实现NSRR,从而实现DLSS
2.实现Real-time Neural Radiance Caching for Path Tracing
3.实现Instant Neural Graphics Primitives with a Multiresolution Hash Encoding
4.基于已有的资料,使用WebGPU开发path tracer,支持随机光源采样+LBVH+多重重要性采样+IBL
5.path tracer结合WSPK降噪
6.path tracer结合NSRR
7.path tracer使用disney BRDF+简单的BSDF
8.发布path tracer(只支持静态场景,但相机可移动;面积光+IBL,光源数量<4)
9.使用ReSTIR,支持多光源的优化
需要实现LightBVH?
10.使用PLOC,支持动态场景的BVH构建

posted @ 2023-06-12 19:34  杨元超  阅读(105)  评论(0编辑  收藏  举报