深度学习降噪专题课:课程介绍

大家好~本课程基于全连接和卷积神经网络,学习LBF等深度学习降噪算法,实现实时路径追踪渲染的降噪

本课程偏向于应用实现,主要介绍深度学习降噪算法的实现思路,演示实现的效果,给出实现的相关代码

线上课程资料:
扫码加QQ频道,获得相关代码等资料,与群主交流讨论:
image

本系列文章为线上课程的复盘,每上完一节课就会同步发布对应的文章

本文为第一节课:课程介绍的复盘文章

本课程系列文章可进入合集查看:
深度学习降噪专题课系列文章合集

为什么要学习深度学习?

我主要关注在图形学中的应用,在“深度学习和图形学渲染的结合和应用” 中总结了深度学习在图形学中的部分应用。

具体来说应用包括下面几个方面:

  • 降噪

image

如上图所示,左边为路径追踪生成的有噪点的场景图片,右边为经过深度学习降噪后的清晰图片

降噪主要使用深度学习中的卷积神经网络,这也是本课程会重点学习的
在最新的论文中,已经实现了10ms降噪,从而可以用在实时渲染的全局光照中了!

  • 神经渲染

具体说就是2D图片转成3D场景

比如谷歌之前发布的3D地图,就是使用了该技术。它先从多个角度拍摄街道,然后通过深度学习中的NeRF将其转换为可从任意视角观看的3D模型

  • 语义图像合成

深度学习通过GAN网络,可以将“我的世界”这种体素构成的3D场景,转换为三角面构成的3D场景,从而可以实现玩家在游戏中既可以像我的世界那样,通过操作体素的方式自定义世界,又可以切换到真实渲染模式(三角面组成的3D场景)查看渲染精美的3D场景

  • 辐照度缓存

Real-time Neural Radiance Caching for Path Tracing论文中,提出了使用深度学习实现辐照度缓存,从而加快路径追踪的渲染速度

  • 高清分辨率的纹理

NeuMIP: Multi-Resolution Neural Materials论文中,提出了使用深度学习实现高清分辨率的纹理

前置要求

本课程在《深度学习基础课》的基础上进行降噪专题的学习,请大家首先阅读下面的资料,对深度学习基础班的内容有一个大概的了解:
深度学习基础课系列目录

技术栈

  • Rescript
    Rescript以前叫Reasonml,它跟Typescript类似,都属于编译到Javascript的语言
    Rescript是从Ocaml而来,基于函数式编程范式,高度优化了编译后的Javascript,性能非常好,非常适合像深度学习这种处理数据的场景
    Rescript的学习资料为:
    官方文档

  • WebGPU

课程特色

  • 偏向于应用实现,介绍实现思路,演示实现效果,给出实现代码
  • 使用自己实现的深度学习框架

学员收益

  • 了解降噪算法的实现思路
  • 获得降噪算法的实现代码

课程大纲

课程内容包括:

  • 课程介绍
  • 整体介绍降噪算法
  • 介绍LBF实现思路
  • 介绍KPCN实现思路
  • 介绍KPCN实现代码
  • 介绍WPSK实现思路
  • 使用CPU后端的深度学习框架,实现WPSK
  • 深度学习框架加入WebGPU后端
  • 使用WebGPU后端的深度学习框架,实现WPSK
  • 结合路径追踪渲染器,使用WPSK降噪

相关的学习资源

posted @ 2023-06-02 16:09  杨元超  阅读(90)  评论(0编辑  收藏  举报