基于预计算的实时环境光照(Real-time Environment Lighting Based On Precomputation)

概念:环境光照(Environment Lighting)

修正了以前笔记上关于环境光照的错误概念。

环境光照(Environment Lighting):用于大型、复杂但强度较小的光源,包括天空光(Sky Light)和云散射的光、从场景中的超大型物体反弹的间接光照以及超大型 area light 的直接光照(往往是能包围整个场景的无限远的 area light)。这种光源具有物体位置无关的特性,即物体无论位于场景的哪里,所接受到的环境光照都是一样的(不考虑辐射度传输因素,例如几何相关的 visibility)。

其中,Ambient Light 是最简单的环境光照,相当于给整个场景所有物体提升同样的亮度(同一颜色)。

因为环境光往往是超大型的,而场景中物体相隔不远的情况下,就可以假设场景所有物体所受到的环境光是一样的,例如相隔一条街的物体能受到的天空光照几乎是一样的。当然考虑光的辐射度传输因素的话,不同物体所受到的环境光照将有所不同,但我们可以将其拆解成环境光信息和辐射度传输信息,环境光信息依然可以全场景共享,而辐射度传输信息可以每个物体各有一份。

基于图像的光照(Image Based Lighting,IBL)

基于图像的光照(Image Based Lighting,IBL),简单的说就是一类通过 环境贴图(Environment Map) 来保存环境光信息,从而实现基于物理的渲染方法。

为了表示来自四面八方的环境光信息,IBL 使用 Spherical Map 或者 Cube Map 的方式来存储:

IBL 可用于 diffuse/glossy/specular 物体(基本上包含大部分物体了)渲染:这取决于环境贴图,环境贴图分辨率越大,那么所能表示高频信息就越多,从而越适合 specular 物体的渲染;而分辨率越低,所表示的信息更多是低频信息, 则 diffuse 物体的渲染也足以满足,而且还能节省一定存储空间。

The Split Sum Approximation

IBL 中最常见的算法便是基于 The Split Sum Approximation 的算法。

我们知道,一般的渲染方程如下:

\[L_{r}\left(x, \omega_{r}\right)=\int_{\Omega^{+}} L_{i}\left(x, \omega_{i}\right) f_{r}\left(x, \omega_{i}, \omega_{r}\right)\left(n \cdot \omega_{i}\right) \mathrm{d} \omega_{i} \]

在实际渲染的时候,我们当然可以使用蒙特卡洛方法实现该渲染方程,然而这样的开销是巨大的(每个shading point都要做多重采样,而且结果很容易是noisy的)。

为了进一步加快式子,这里有一个很经典的近似公式:

\[\int_{\Omega^+} f(x) g(x) \mathrm{d} x \approx \frac{\int_{\Omega_{G}} f(x) \mathrm{d} x}{\int_{\Omega_{G}} \mathrm{~d} x} \cdot \int_{\Omega^+} g(x) \mathrm{d} x \]

积分域 \(\Omega_G\) :在原本 \(\Omega^+\) 的积分域范围内剔除掉 \(f(x) = 0\) 的地方而剩余的范围。

想让这个公式近似效果比较精确,那么需要满足以下一种或两种条件:

  • 积分域 \(\Omega_G\) 比较小
  • \(g(x)\) 比较光滑,即变化不是很大

而我们的观察是:

  • 如果 BRDF 是 glossy/specular 的,那么它的 lobe 往往是花瓣状,即只有很小的积分域才能接受环境光。
  • 如果 BRDF 是 diffuse 的,那么它的 lobe 往往是均匀的半球状,即无论哪个方向的环境光打进来, \(f_r\) 函数的输出几乎没多少变化(甚至是个常数)。

于是基于以上理论,Split Sum 方法对渲染方程改造成这样的近似公式来获得渲染的加速:

\[L_{r}\left(x, \omega_{r}\right) \approx \frac{\int_{\Omega_{f_{r}}} L_{i}\left(x, \omega_{i}\right) \mathrm{d} \omega_{i}}{\int_{\Omega_{f_{r}}} \mathrm{~d} \omega_{i}} \cdot \int_{\Omega^{+}} f_{r}\left(x, \omega_{i}, \omega_{r}\right) \cos \theta_{i} \mathrm{~d} \omega_{i} \]

对渲染方程拆分成两个部分(环境光积分、BRDF积分)后就可以通过预计算的方式(后面两节会介绍如何预计算)分别减少这些积分的运行时开销,总结这种方法的好处是:

  • Split Sum 方法和原始蒙特卡洛方法的图像效果几乎一模一样
  • 由于不用对环境贴图进行多重采样,性能开销大大减低了

预过滤环境贴图

环境光积分:

\[\frac{\int_{\Omega_{f_{r}}} L_{i}\left(x, \omega_{i}\right) \mathrm{d} \omega_{i}}{\int_{\Omega_{f_{r}}} \mathrm{~d} \omega_{i}} \]

因为我们已经拥有一张环境贴图(无论是实时的还是预渲染的)来存储环境光信息了,为了计算环境光部分的积分,需要在 \(\Omega_{fr}\) 范围内做多次光线采样。但是,可以有一个几乎等价但避免运行时多次采样的方式:

预先对纹理进行滤波操作(模糊),我们只需要对滤波后的环境贴图采样一次光线方向就能得到积分。

滤波后的环境贴图实际上称为 Irradiance Environment Map :原来环境贴图中的单位是 radiance \(L(\mathrm{x}, \omega)\),贴图积分后的单位则变成了 Irradiance \(E(x)\)

当然,BRDF Lobe 的形状越尖锐,即环境光积分范围越小,就需要使用模糊程度更低的环境贴图;反之 BRDF Lobe 的形状越粗壮,即环境光积分范围越大,就需要使用模糊程度更高的环境贴图。

我们可以使用 Mipmap技术 来生成不同Level的环境贴图,通过三线性插值(Trilinear Interportion)的方式来得出任何模糊程度且任何2D位置的环境光滤波结果。

IBL 往往用于支持静态环境光照,这样就可以进行预过滤环境贴图;当然也可以支持动态环境光照,只是需要实时过滤出动态的环境贴图,有一定的开销。

预计算 BRDF 积分

回顾 Microfacet BRDF 的组成:

  • Fresnel项(举例 Schlick's approximation)

\[F=F_0 +(1-F_0)(1-(h \cdot \omega_{r}))^{5} = F_0 +(1-F_0)(1-(\cos\theta_{vh}))^{5} \]

  • NDF项(举例 Beckmann NDF)

\[D(h)=\frac{1}{\pi \alpha^{2}({n} \cdot {h})^{4}} \cdot \exp {\left(\frac{({n} \cdot {h})^{2}-1}{a^{2}({n} \cdot {h})^{2}}\right)} = \frac{1}{\pi \alpha^{2}\cos^4 \theta_h } \cdot \exp {\left(\frac{\cos^2 \theta_h -1}{a^{2}\cos^2 \theta_h }\right)} \]

可以预想到,该BRDF 的积分结果依赖于三个参数:

  • \(F_0\)(Fresnel项系数)
  • \(\alpha\) (粗糙度 roughness)
  • \(\theta_v\) (反射方向与法线的夹角,实际上决定了 \(\theta_{vh}\)\(\theta_{h}\)

我们可以把 \(F_0\) 项拆出来,让BRDF 积分拆成两个积分,但是这些积分都减少了一个依赖的参数:

\[\begin{align} \int_{\Omega^{+}} f_{r}\left(p, \omega_{i}, \omega_{o}\right) \cos \theta_{i} \mathrm{~d} \omega_{i}\approx & F_{0} \int_{\Omega^{+}} \frac{f_{r}}{F}\left(1-\left(1-\cos \theta_{vh}\right)^{5}\right) \cos \theta_{i}\mathrm{~d} \omega_{i} \\ & + \int_{\Omega^{+}} \frac{f_{r}}{F}\left(1-\cos \theta_{vh}\right)^{5} \cos \theta_{i} \mathrm{~d}\omega_{i} \\ = & F_0A+B \end{align} \]

这样,对于相同的材质(相同的BRDF),我们就可以针对剩余两个依赖的参数 \(\alpha\)\(\theta_v\) 建立一张 二维查询表,其两个通道分别代表 A 与 B 的值:

预计算辐射度传输(Precomputed Radiance Transfer,PRT)

预计算辐射度传输(Precomputed Radiance Transfer,PRT) 是一类基于预计算 radiance transfer(辐射度传输)的渲染方法。

注:PRT 核心并不是预计算环境光照,而是预计算辐射度传输。

所谓 radiance transfer,可以理解成是一种关于光路传输分布的几何信息,例如 shadow,ambient occlusion,物体表面互反射等效果都属于此。也就是说 PRT 要求几何信息是静态的,如果应用到物体上,就需要物体本身不会发生形变;如果应用到几何场景上,就需要场景的几何不会发生变化。

PRT 方法在2002年 SIGGRAPH 会议被 Peter-Pike Sloan 首先提出,并从此掀起了一波 PRT 方法的研究浪潮。当时 Peter-Pike Sloan 论文所实现的 PRT 算法便是基于球谐(SH)的,实际上 PRT 不仅可以通过 SH 去表示光路传输分布,还可以有其它方法(如Wavelet)。不过本文仍将主要介绍 SH 方法。

PRT(SH lighting & SH transfer)效果:

分别为 diffuse 物体的无阴影情况、diffuse 物体的阴影&互反射情况、glossy 物体的无阴影情况、glossy 物体的阴影&互反射情况。

球谐(Spherical Harmonics,SH)

对于任意函数 \(f(x)\) ,不管是连续的还是不连续的,我们可以展开成一系列基函数(每项都带某个系数)的线性组合:

\(f(x)=\sum_{i} c_{i} \cdot B_{i}(x)\)

例如,多项式展开可以看成是一系列基函数(多项式)的线性组合:\(f(x)=c_{0} +c_1\cdot x^1 + c_2 \cdot x^2 + ...\)

再例如,傅立叶变换也可以将 \(f(x)\) 表示成另一系列基函数(各种频率的正弦谐波)的线性组合:

球谐(Spherical Harmonics,SH) 便是定义在球面上的一系列2D基函数,它与2D傅里叶序列有点相似,但非常适合球面函数 \(f(\omega)\)(即参数为单位球面向量)。

SH 是分阶数的:在第0阶(l=0)有1个基函数(m=0);第1阶(l=1)有3个基函数(m=-1,0,1)...第n阶(l=n)有2n+1个基函数(m=-l,...,0,...,l)。实际上,阶数越低的基函数所代表的信息就越是低频。如果要完全复原一个任意函数,我们需要无穷阶的 SH;而如果我们只要复原一个任意函数的近似(换句话说只重建出该函数的低频信息),那么我们完全可以只需要前几阶的 SH(包含 l=0,l=1,...,l=n 每一阶的所有基函数)。

SH 的实数形式的基函数如下:

SH 基函数的形式比较复杂,只建议看一眼就跳过。

\[y_{l}^{m}(\theta, \varphi)=\left\{\begin{array}{rl}\sqrt{2} \operatorname{Re}\left(Y_{l}^{m}\right) & m>0 \\ \sqrt{2} \operatorname{Im}\left(Y_{l}^{m}\right) & m<0 \\ Y_{l}^{0} & m=0\end{array}=\left\{\begin{array}{cc}\sqrt{2} K_{l}^{m} \cos m \varphi P_{l}^{m}(\cos \theta) & m>0 \\ \sqrt{2} K_{l}^{m} \sin |m| \varphi P_{l}^{|m|}(\cos \theta) & m<0 \\ K_{l}^{0} P_{l}^{0}(\cos \theta) & m=0\end{array}\right.\right. \]

其中,

\(K_{l}^{m}=\sqrt{\frac{(2 l+1)(l-|m|) !}{4 \pi(l+|m|) !}}\)

\(p^m_l\) 为勒让德多项式(Legendre polynomials):

  • $P_0^0= 1 $
  • $P_{m}^{m} =(1-2 m) P_{m-1}^{m-1} $
  • $P_{m+1}^{m} =(2 m+1) z P_{m}^{m} $
  • $ P_{l}^{m} =\frac{(2 l-1) z P_{l-1}^{m}-(l+m-1) P_{l-2}^{m}}{l-m} $

z为球面向量对应球面坐标的z值,该多项式不依赖x值y值。

以下是前3阶的SH实数形式的基函数:

\(l=0\)

  • \(Y_{00}=s=Y_{0}^{0}=\frac{1}{2} \sqrt{\frac{1}{\pi}}\)

\(l=1\)

  • \(Y_{1,-1}=p_{y}=i \sqrt{\frac{1}{2}}\left(Y_{1}^{-1}+Y_{1}^{1}\right)=\sqrt{\frac{3}{4 \pi}} \cdot \frac{y}{r}\)
  • \(Y_{1,0}=p_{z}=Y_{1}^{0}=\sqrt{\frac{3}{4 \pi}} \cdot \frac{z}{r}\)
  • \(Y_{1,1}=p_{x}=\sqrt{\frac{1}{2}}\left(Y_{1}^{-1}-Y_{1}^{1}\right)=\sqrt{\frac{3}{4 \pi}} \cdot \frac{x}{r}\)

\(l=2\)

  • \(Y_{2,-2}=d_{x y}=i \sqrt{\frac{1}{2}}\left(Y_{2}^{-2}-Y_{2}^{2}\right)=\frac{1}{2} \sqrt{\frac{15}{\pi}} \cdot \frac{x y}{r^{2}}\)
  • \(Y_{2,-1}=d_{y z}=i \sqrt{\frac{1}{2}}\left(Y_{2}^{-1}+Y_{2}^{1}\right)=\frac{1}{2} \sqrt{\frac{15}{\pi}} \cdot \frac{y z}{r^{2}}\)
  • \(Y_{2,0}=d_{z^{2}}=Y_{2}^{0}=\frac{1}{4} \sqrt{\frac{5}{\pi}} \cdot \frac{-x^{2}-y^{2}+2 z^{2}}{r^{2}}\)
  • \(Y_{2,1}=d_{s z}=\sqrt{\frac{1}{2}}\left(Y_{2}^{-1}-Y_{2}^{1}\right)=\frac{1}{2} \sqrt{\frac{15}{\pi}} \cdot \frac{z x}{r^{2}}\)
  • \(Y_{2,2}=d_{x^{2}-y^{2}}=\sqrt{\frac{1}{2}}\left(Y_{2}^{-2}+Y_{2}^{2}\right)=\frac{1}{4} \sqrt{\frac{15}{\pi}} \cdot \frac{x^{2}-y^{2}}{r^{2}}\)

SH 与一般的基函数相比,具有以下性质:

  • 基函数之间具有正交性(orthonormal)

\(\int_{\Omega} B_{i}(\omega) \cdot B_{j}(\omega) \mathrm{d} \omega=\mathbf{1} \quad(i=j)\)

\(\int_{\Omega} B_{i}(\omega) \cdot B_{j}(\omega) \mathrm{d} \omega=\mathbf{0} \quad(i\neq j)\)

  • 通过 投影(Projection) 可以很方便得到 SH 系数(SH coefficients)

\(f_i = \int_{\Omega}f(\omega)\cdot B_i(\omega)d\omega\)

  • 通过系数向量组与基函数组的点积(前n阶的基函数/系数共有 n*n 个)可以很方便重建球面函数

\(f(\omega)\approx \sum^{n^2}_{i=1} f_{i} B_{i}(\mathbf{\omega})\)

  • product projection:\(c(\omega)=a(\omega)b(\omega)\) ,已知 \(a\) 的形式而 \(b\) 未知,有

\(\vec{c} = M\cdot \vec b\)

其中,\(\vec{c}\)\(c(\omega)\) 的SH系数向量组,\(\vec{b}\)\(b(\omega)\) 的SH系数向量组,\(M\)\(n^2\) X \(n^2\) 的矩阵,其元素为

\(M_{ij}=\int_{\Omega}a(\omega)B_i(\omega)B_j(\omega)d\omega\)

这样我们就可以预计算好 \(M\) ,等到知道 \(\vec{b}\) 后,乘起来就能得到 \(\vec{c}\)

推导:

\(令 M_{i}(\omega)=a(\omega)B_i(\omega)\)

\(\begin{align} c_i &= \int_{\Omega} a(\omega)b(\omega)B_i(\omega) d\omega \\ &= \int_{\Omega} M_i(\omega)b(\omega)d\omega \\ &= \int_{\Omega} \sum_{j=1}^{n^2} (M_{ij} B_j(\omega)) b(\omega) d \omega \\ &= \sum_{i=1}^{n^2} M_{ij} \int_{\Omega} B_j(\omega)b(\omega) d \omega \\ &= \sum_{j=1}^{n^2} M_{ij}\cdot b_j \end{align}\)

  • 支持插值,对 SH 系数的插值相当于对重建的函数值的插值。

  • 旋转不变性(rotational invariance),对函数 \(f\) 的旋转 \(R_{SH}\) 等价于对 \(f(\omega)\) 的自变量的旋转 \(R_{3D}\)

\(R_{SH}(f(\omega))=f(R_{3D}(\omega))\)

PRT 核心思想

PRT 将渲染方程分为两个球面函数,即环境光部分(lighting function)和传输部分(transfer function):

\[L(r)=\int_{\Omega^+} L_e(\mathbf{\omega})\cdot \rho(r,w) \cdot V(\mathbf{\omega}) \max (0, n\cdot \mathbf{\omega}) \mathrm{d} \mathbf{\omega}=\int_{\Omega^+} L_e(\mathbf{\omega})\cdot T(r,w) \mathrm{d} \mathbf{\omega} \]

SH Lighting

由于环境光是场景所有物体共享的,所以往往只需要存储一份全局信息,我们甚至可以使用 IBL 方法,但是在 PRT 原论文采用了一种更加压缩的环境光照表达方式,即 SH Lighting。

球谐光照(SH Lighting):使用低阶(一般是 2 阶)的 SH 来表示环境光照,这样只需要预先存储若干个 SH 系数(diffuse情况下)就可以重建出环境光照。

传统的环境光照信息往往使用环境贴图(Environment Map)表示,这往往需要一个庞大的二维数组存储各个 texel 的值,十分耗费空间,而且采样和纹理I/O也有一定开销。而纹理本质上也是一个函数(信号),输入二维坐标,输出对应纹素的 RGBA 值,因此可以用 SH 表示。

  • SH Lighting 只预先存储几个 SH 系数,而不必存储一整张环境贴图,大大减少存储空间和 I/O 开销。
  • SH 所能表示的 lighting 信息是低频的,因此 SH lighting 只适用于 diffuse 和 glossy 的物体而不适用于 specular 的物体。
  • 环境光照动态性会有所限制(最多只能支持环境光照的 rotation)。

Radiance Transfer

传输部分则因为是几何相关的,即每个位置的 transfer 信息往往是不一样的,为此可以每个顶点存储一份 transfer 信息,PRT 同样使用了 SH 来表达 transfer 信息。

PRT 中每个顶点预先存储若干个 SH 系数(diffuse情况下)或者矩阵(glossy情况下),而顶点之间的位置则通过插值的方式来得到对应的 transfer 信息。

  • 预计算 radiance transfer 可以在实时渲染中以极低代价实现单个物体的自阴影、互反射的局部几何传输效果。
  • 物体自身不能有局部的几何变化(但可以整体 scale, rotation 和 transition)。

如果要将 PRT 应用到场景中,则就要求场景所有物体不能发生任何几何变化(包括 scale,rotation,transition)。由于场景的几何复杂度往往比单个物体的几何复杂度要高得多,并且渲染效果也明显的多,因此要求的 SH 阶数应当更高(精度更高),导致更沉重的空间需求,所以下文以单个物体的 PRT 方法为例讲解。

预计算 SH Lighting & Transfer

Diffuse 物体

Diffuse 物体的渲染方程:

\[L(r)=\int_{\Omega^+} L_e(\mathbf{\omega})\cdot \rho \cdot V(\mathbf{\omega}) \max (0, n\cdot \mathbf{\omega}) \mathrm{d} \mathbf{\omega} \]

\(L_e\) 代表环境光; \(\rho\) 为 BRDF 项;\(V\) 为 Visibility,表示不被遮挡的程度,往往表现为自遮挡产生的阴影现象。

  • 由于物体是 diffuse 的,因此它的 BRDF 将是一个常数 \(\rho\) (无论从哪个方向观察都得到相同的BRDF值),也因此 diffuse 物体的 \(L\) 将是一个常量值,而不受参数 \(r\) 影响
  • 对于 lighting 部分 \(L(\mathbf{\omega})\),原本需要对 Environment Map 进行查询,而现在可以换成使用 SH 函数去表示:\(L_e(\mathbf{\omega}) \approx \sum l_{i} B_{i}(\mathbf{\omega})\)
  • 对于 transfer function 部分 \(T(\omega)=V(\mathbf{\omega}) \max (0, n\cdot \mathbf{\omega})\) , 也可以换成使用 SH 函数去表示:\(T(\omega) \approx \sum T_j B_j(\omega)\)

代入渲染方程整理后得:

\[\begin{align} L(r) &\approx \rho \int_{\Omega^+} \sum_{i=1}^{n^2}l_{i}B_i(\omega) \sum_{j=1}^{n^2}T_j\mathrm{B}_{j}(\mathbf{\omega}) \mathrm{d} \mathbf{\omega} \\ &= \rho\sum_{i=1}^{n^2} \sum_{j=1}^{n^2} l_{i}T_j\int_{\Omega^+} B_i(\omega) \mathrm{B}_{j}(\mathbf{\omega})d\omega \\ &= \rho\sum_{i=1}^{n^2} l_{i}T_i\int_{\Omega^+} B_i(\omega) \mathrm{B}_{i}(\mathbf{\omega})d\omega \\ &= \rho\sum_{i=1}^{n^2} l_{i}T_i \end{align} \]

这样,我们只需要预计算出 \(l_i\)\(T_i\),就能让运行时的diffuse物体渲染速度大大提升。

预计算过程:

  1. 对整个环境光信息(环境贴图),预计算 lighting 的 SH 系数向量组 \(\vec{l}\),其中一个元素为:\(l_{i}=\int_{\Omega^+} L_e(\mathbf{\omega}) B_{i}(\mathbf{\omega}) \mathrm{d} \mathbf{\omega}\)

  2. 对每个顶点,预计算 light transfer 的 SH 系数向量组 \(\vec{T}\),其中一个元素为:\(T_i=\int_{\Omega^{+}}V(\mathbf{\omega}) \max (0, n\cdot \mathbf{\omega}) \mathrm{B}_{i}(\mathbf{\omega}) \mathrm{d} \mathbf{\omega}\)

此时,我们可以理解成系数 \(l_i\) 代表了环境光照(lighting)的信息,而系数 \(T_i\) 代表了在某个顶点上光路传输(light transfer)的信息;整个模型预计算完成之后将会得到一个 lighting 系数向量和模型顶点数量对应的 transfer 系数向量。

运行时渲染过程:

  1. 在 vertex shding 阶段计算顶点的 SH 颜色 \(L(r) \approx \rho \sum_{i=1}^{n^2} l_{i} T_{i} = \rho( \vec{l}\cdot \vec{T})\)

  2. 在 pixel/fragment shading 阶段得到插值后的 SH 颜色即为该像素的颜色

Glossy 物体

Glossy 物体的渲染方程:

\[L(r)=\int_{\Omega^+} L_e(\mathbf{\omega})\cdot \rho(r,\mathbf{\omega}) \cdot V(\mathbf{\omega}) \cdot \max (0, n\cdot \mathbf{\omega}) \mathrm{d} \mathbf{\omega} \]

对于 glossy 物体,不同视角观察物体表面同一点会有不同的光照。因此 glossy 的 BRDF 将是四维的函数(参数不仅包含\(\mathbf{\omega}\),还包含\(r\)),这次将 BRDF 算入 transfer,则 transfer function 将额外增加一个二维参数 \(r\)

  • 对于环境光(lighting)即 \(L(\mathbf{\omega})\),原本需要对 Environment Map 进行查询,而现在可以换成使用 SH 函数去表示:

    \[L_e(\mathbf{\omega}) \approx \sum l_{i} B_{i}(\mathbf{\omega}) \]

  • 对于传输函数(transfer function) \(T(r,\omega)=\rho(r,\mathbf{\omega}) V(\mathbf{\omega}) \max (0, n\cdot \mathbf{\omega})\) ,换成使用 SH 函数去表示:

    \[T(r,\omega) \approx \sum_{i=1}^{n^2} T_{i}(r)B_i(\omega)\approx \sum_{i=1}^{n^2} \sum_{j=1}^{n^2} T_{ij} B_j(r)B_i(\omega) \]

由于额外多了一个二维的参数,transfer 系数将是一个矩阵而非之前 diffuse 情况下的系数向量

代入渲染方程整理后得:

\[\begin{align} L(r) & \approx \int_{\Omega^+} \sum_{i=1}^{n^2} l_{i} B_{i}\sum_{j=1}^{n^2}\sum_{k=1}^{n^2} T_{jk} B_j(\omega)B_k(r)\mathrm{d} \mathbf{\omega} \\ &= \sum_{i=1}^{n^2}\sum_{j=1}^{n^2}\sum_{k=1}^{n^2} l_iT_{jk }B_k(r) \int_{\Omega^+} B_{i}(\omega)B_j(\omega)\mathrm{d} \mathbf{\omega} \\ &= \sum_{i=1}^{n^2}\sum_{k=1}^{n^2}l_iT_{ik }B_k(r) \end{align} \]

预计算过程:

  1. 对整个环境光信息,预计算 lighting 的 SH 系数向量组 \(\vec{l}\),其中一个元素为:\(l_{i}=\int_{\Omega^+} L(\mathbf{\omega}) B_{i}(\mathbf{\omega}) \mathrm{d} \mathbf{\omega}\)
  2. 对每个顶点,预计算 light transfer 矩阵 \(T\),其中一个元素为:\(T_{ij}=\int_{\Omega^{+}}\mathrm{B}_{j}(\mathbf{\omega}) T_i(\omega) \mathrm{d} \mathbf{\omega}\)\(T_i(r) = \int_{\Omega^+}T(r,\omega)B_i(\omega)d\omega\)

由于 Glossy 物体需要每个顶点存储一个矩阵 T,这使得空间开销略大,因此不太实用。

运行时渲染过程:

  1. 在 vertex shding 阶段计算顶点的 SH 颜色 \(L(r) \approx \sum_{i=1}^{n^2}\sum_{j=1}^{n^2} l_{i} T_{ij} B_j(r) = T\vec{l}\cdot \vec{B(r)}\)
  2. 在 pixel/fragment shading 阶段得到插值后的 SH 颜色即为该像素的颜色

原论文实际上还有个 BRDF 卷积步骤。但是本身用SH表示环境光信息已经足够低频(模糊)了,对这个卷积步骤,个人先存个疑。

预计算 Interreflection Transfer

而前面的渲染方程中:

\[L_{x}(r)=L^0_{x}(r)=\int_{\Omega^+} L_{e}(\mathbf{\omega})\cdot \rho(r,\mathbf{\omega}) \cdot V(\mathbf{\omega}) \cdot \max (0, n\cdot \mathbf{\omega}) \mathrm{d} \mathbf{\omega} \]

只考虑几何传播关系的因素只有 \(V(\omega)\cdot max(0,n\cdot\omega)\),即只可实现阴影或者无阴影(令 \(V=1\))的效果,并不能实现互反射(interreflection)的效果。

所谓 interreflection,实际上就是某个点朝外围环境看时,\(V=0\) 意味着有几何部分遮挡住了直接的环境光,但实际上遮挡还意味着这些几何部分上的出射光会反射给该点,这就形成了该点间接的环境光照。

增加 1 次互反射的渲染方程(迭代):

\[L^n_x(r) := L^0_x(r)+\int_{\Omega^+} L^{n-1}_{x'}(\mathbf{\omega})\cdot \rho(r,\mathbf{\omega}) \cdot (1-V(\mathbf{\omega})) \cdot \max (0, n\cdot \mathbf{\omega}) \mathrm{d} \mathbf{\omega} \]

\(L^n_x\) 意味着在某个点 \(x\) 的 radiance,而 \(x'\) 则是从 \(x\)\(\omega\) 方向进行 raycast 而得到相交的其它点,而 \(n\) 则代表了迭代了多少次。

Diffuse 物体

\[L^n_x := L^0_x + \rho\int_{\Omega^+} L^{n-1}_{x'} \cdot (1-V(\mathbf{\omega})) \cdot \max (0, n\cdot \mathbf{\omega}) \mathrm{d} \mathbf{\omega} \]

将上述式子左右两边同时分离出 \(\vec{l}\) (即对预计算出来的 lighting SH 系数不做改变 ),则意味着我们实现 Interreflection 的效果只需要在所有顶点 \(x\) 的 transfer 系数向量做以下迭代:

\[(T^{n}_x)_i := (T^0_x)_i + \rho \int_{\Omega^{+}}(T^{n-1}_{x'})_i \cdot (1-V(\mathbf{\omega})) \cdot \max (0, n\cdot \mathbf{\omega}) \mathrm{d} \mathbf{\omega} \]

SH Rotation

PRT 的一个问题是如果 lighting 部分是预计算的,那就只适用于静态环境光下的静态物体渲染;环境光或者物体只要有变化,PRT 就不得不进行重新预计算;但得益于 SH 的旋转不变性,我们至少可以让 SH Lighting 适用于动态旋转的情形而不必重新预计算。

环境光旋转往往用来实现场景的昼夜轮转效果,物体旋转就比较常见了。顺便注:环境光旋转和物体旋转在 PRT 渲染中是等价的(只是说看相对于哪个东西来看待旋转而已)

现在给定旋转 \(R\) ,然后有SH投影函数 \(P\)(输入一个球面向量,输出第 \(l\) 层band的 SH 系数向量组)。假设我们有 \(2l+1\) 个任意的球面向量,我们需要想办法求出能等价于旋转 \(n_i\) 的矩阵 \(M\) 来旋转 SH投影函数 \(P\)

\[M P\left(n_{i}\right)=P\left(R\left(n_{i}\right)\right), i \in[-l, l] \]

整理得:

\[M\left[P\left(n_{-l}\right), \ldots, P\left(n_{l}\right)\right]=\left[P\left(R\left(n_{-l}\right)\right), \ldots, P\left(R\left(n_{l}\right)\right)\right] \]

\(A = [P_{(n−l)}, ..., P (n_{l})]\) ,如果矩阵 \(A\) 是可逆的,则:

\[M=\left[P\left(R\left(n_{-l}\right)\right), \ldots, P\left(R\left(n_{l}\right)\right)\right] A^{-1} \]

这样,无论 \(R\) 怎么变化,我们都可以即时根据 \(R\) 求出 \(M\) ,然后把最新的 \(M\) 应用到所有预计算好的 \(P(\omega)\) 上(即预计算好的SH系数上),而不必重新预计算 \(P(R(\omega))\)

SH 的快速旋转实现:

对于第 \(l\) 层 band 需要做如下处理:

  1. 选取共 \(2l + 1\) 个 单位向量 \(n_i\),这些向量 \(n_i\) 投影在该层 band 上的基函数就能得到系数 \(P (n_i)\)。共 \(2l + 1\)\(2l+1\) 维向量 \(P (n_i)\) 构成了矩阵 \(A\),并求出 \(A^{−1}\)

如何选取单位向量:要保证投影后构成的 \(A\) 矩阵可逆。

  1. 给定旋转 \(R\) ,对所有 \(n_i\) 依次做旋转 \(R(n_i)\) ,这些旋转后的单位向量同样投影在该层 band 上的基函数就能得到系数 \(P(R(n_i))\)。 共 \(2l + 1\)\(2l + 1\) 维向量 \(P(R(n_i))\) 构成了矩阵 \(S\)

  2. 求出该层 band 上球谐函数的旋转矩阵 \(M = SA^{−1}\)

  3. \(M\) 乘以该层 band 上的 SH 系数向量组就可以得到旋转后的 SH 系数向量组。

\(l=0\) 时只有1个系数,故不需要处理;\(l=1\) 时需要处理3个系数,其中的 \(A、S、M\) 将会是 3X3矩阵;\(l=2\) 时需要处理5个系数,其中的 \(A、S、M\) 将会是 5X5矩阵......

最后,将每一层 band 的结果重新拼接起来即可得到完整的旋转后的 SH 系数结果。

// 伪代码:三阶SH旋转
SHCoeffientsAfterRotation(Array coeffients,Rotation rotation){
    Array res;
    // 处理 l = 0
    res[0] = coffients[0];
    // 处理 l = 1
    // step 1
    n1 = [1,0,0],n2 = [0,1,0],n3 = [0,0,1];
    A = [ // SHProject(n,l,m):向量n投影到SH中l层第m个基函数,输出对应系数
    [SHProject(n1,1,-1),SHProject(n2,1,-1),SHProject(n3,1,-1)],
    [SHProject(n1,1,0),SHProject(n2,1,0),SHProject(n3,1,0)],
    [SHProject(n1,1,1),SHProject(n2,1,1),SHProject(n3,1,1)]
    ];
    A_inv = InvMatrix(A);
    // step 2
    rn1 = rotation*n1,rn2 = rotation*n2,rn3 = rotation*n3;
    S = [
        [SHProject(rn1,1,-1),SHProject(rn2,1,-1),SHProject(rn3,1,-1)],
        [SHProject(rn1,1,0),SHProject(rn2,1,0),SHProject(rn3,1,0)],
        [SHProject(rn1,1,1),SHProject(rn2,1,1),SHProject(rn3,1,1)]
    ];
    // step 3
    M = S*A_inv;
    // step 4
    coeff_l1 = M*[coeffients[1],coeffients[2],coeffients[3]];
    res[1] = coeff_l1[0];
    res[2] = coeff_l1[1];
    res[3] = coeff_l1[2];
    
    // 处理 l = 2    
    // step 1
	k = 1/sqrt(2);
    n1 = [1,0,0],n2 = [0,0,1],n3 = [k,k,0],n4 = [k,0,k],n5 = [0,k,k];
    A = [
[SHProject(n1,2,-2),SHProject(n2,2,-2),SHProject(n3,2,-2),SHProject(n4,2,-2),SHProject(n5,2,-2)],
[SHProject(n1,2,-1),SHProject(n2,2,-1),SHProject(n3,2,-1),SHProject(n4,2,-1),SHProject(n5,2,-1)],
[SHProject(n1,2,0),SHProject(n2,2,0),SHProject(n3,2,0),SHProject(n4,2,0),SHProject(n5,2,0)],
[SHProject(n1,2,1),SHProject(n2,2,1),SHProject(n3,2,1),SHProject(n4,2,1),SHProject(n5,2,1)],
[SHProject(n1,2,2),SHProject(n2,2,2),SHProject(n3,2,2),SHProject(n4,2,2),SHProject(n5,2,2)]
    ];
    A_inv = InvMatrix(A);
    // step 2
    rn1 = rotation*n1,rn2 = rotation*n2,rn3 = rotation*n3,rn4 = rotation*n4,rn5 = rotation*n5;
    S = [
[SHProject(rn1,2,-2),SHProject(rn2,2,-2),SHProject(rn3,2,-2),SHProject(rn4,2,-2),SHProject(rn5,2,-2)],
[SHProject(rn1,2,-1),SHProject(rn2,2,-1),SHProject(rn3,2,-1),SHProject(rn4,2,-1),SHProject(rn5,2,-1)],
[SHProject(rn1,2,0),SHProject(rn2,2,0),SHProject(rn3,2,0),SHProject(rn4,2,0),SHProject(rn5,2,0)],
[SHProject(rn1,2,1),SHProject(rn2,2,1),SHProject(rn3,2,1),SHProject(rn4,2,1),SHProject(rn5,2,1)],
[SHProject(rn1,2,2),SHProject(rn2,2,2),SHProject(rn3,2,2),SHProject(rn4,2,2),SHProject(rn5,2,2)]
    ];
    // step 3
    M = S*A_inv;
    // step 4
    coeff_l2 = M*[coeffients[4],coeffients[5],coeffients[6],coeffients[7],coeffients[8]];
    res[4] = coeff_l2[0];
    res[5] = coeff_l2[1];
    res[6] = coeff_l2[2];
    res[7] = coeff_l2[3];
    res[8] = coeff_l2[4];
    
    return res;
}

这样我们对 lighting 的 SH 系数做 rotation,就可以实现支持环境光旋转或物体旋转的实时 SH Lighting。

但是注意,不应当对 transfer 的 SH 系数做 rotation,因为一个物体的 transfer function 只考虑自身的几何遮蔽(自身与自身的遮蔽关系),而非像物体与环境光那样存在相对关系。

SH rotation 效果图:

总结

无论 IBL 还是 PRT 都属于实现环境光照的方案,它们的区别在于:

  • IBL 是一种从预计算环境光照出发的环境关照渲染方案:

    • 采用环境贴图:存储占用空间较大,同时也占采样 I/O。
    • 能保留高频信息,常用于 diffuse/glossy/specular 物体的渲染。
  • PRT 是一种从预计算 transfer function 出发的环境光照渲染方案:

    • 采用 SH lighting:存储开销和重建环境光照的开销极低。
    • 只能保留低频信息,常用于 diffuse/glossy 物体的渲染。
    • 物体不可局部形变,材质不可动态:若发生变化,那么其 transfer 就需要更新。
    • 只考虑了物体局部 transfer 效果,没有考虑完整场景 transfer 效果,不过在其它 PRT 方案中有支持完整场景的 transfer 效果。

全局光照(Global Illumination,GI),严格意义上指完整的物理的间接光照效果,实际上只要有体现间接光效果(即使是部分效果或者 tricky 的效果)的光照都可称为 GI,因此它总体上分为两派:

  • 有一派是通过一套统一标准的渲染流程把任何物体的 GI 计算出来,往往计算量极大但效果更加物理更加真实,典型的例子便是 path tracing
  • 另一派是把 GI 的效果看成一个个部分来组成,这样我们可以选择其中一些 GI 效果组合使用,适应不同的性能(往往计算量相对低些,尤其是实时渲染)的同时也能带来能接受的 GI 效果(虽然往往不是严谨的物理正确),例如:在单个物体的角度上实现环境光照的局部自遮蔽/自反射效果(例如 PRT),在整个场景的角度来实现间接光照在全局场景 bounce 来 bounce 去的效果(例如 VXGI)。

参考

posted @ 2021-09-29 17:04  KillerAery  阅读(3814)  评论(0编辑  收藏  举报