图形学笔记-Games101

向量

点乘。
在图形学中一般使用：知道两个向量，算他们的夹角。
点乘使用交换律、分配律、结合律

Vector3 a = new Vector(x1, y1, z1);
Vector3 b = new Vector(x2, y2, z2);
//计算对应的余弦值
double cosValue = (a.x1 * b.x2 + a.y1 * b.y2 + a.z1 * b.z2) / a.magnitude * b.magnitude;

// 计算对应的弧度值
double angleInRadians = Math.Acos(cosValue);

// 将弧度转换为角度
double angleInDegrees = angleInRadians * (180 / Math.PI);

叉乘。
其结果垂直于AB，垂直的方向由右手螺旋法则定义（×前的向量指向×后的向量）。
由于括号内的意思的原因，使用不满足交换律，交换后需加上负号

向量叉乘自己是零向量；满足结合律和交换律

用于判断b在a的左侧还是右侧。

用于判断P在△ABC的内侧还是外侧（AP在AB的左，BP在BC的左，CP在CA的左）。

查看代码

Vector3 CrossProductResult(Vector3 origin, Vector3 point1, Vector3 point2){
    Vector3 sideA = point1 - origin;
    Vector3 sideB = point2 - origin;
    
    // 使用叉乘计算平面的法线向量
    return Vector3.Cross(sideA, sideB).normalized;
}
bool IsPointInTriangle(Vector3 pointA, Vector3 pointB, Vector3 pointC, Vector3 target){
    Vector3 cross1 = CrossProductResult(pointA, pointB, target);
    Vector3 cross2 = CrossProductResult(pointB, pointC, target);
    Vector3 cross3 = CrossProductResult(pointC, pointA, target);
    
    return cross1 == cross2 && cross2 == cross3;
}

矩阵

矩阵：AB矩阵相乘只有符合A矩阵的列等于B矩阵的行才能乘。
相乘结果怎么出来的：在结果里看他的行/列，去A的行和B的列找所有数字，把这些数字点乘起来就行了。
如：如何得出（二行，三列）的61，找到A的二行5/2，找到B的三列9/8，点乘5*9+2*8。

矩阵不存在交互律，但是其他的都能用。

转置。

OpenGL一般使用列项

Unity和UE使用行项

你问我什么是列项什么是行项？

问GPT。

Transform

切变:

[x + ay]

[y]

二维旋转

“三元数”官方：齐次坐标
其中，出现了新的概念，点和向量的区别。

在引入w之后，w=0表示向量，w=1表示点
v(x1,y1,0)+v(x2,y2,0)=v(x1+2,y1+2,0);
p(x1,x2,1)-(x2,x2,1)=v(x,y,0);
p(x1,x2,1)+v(x2,y2,0)=p
点加点则引入了一个新概念，新产生的点为相加两点的中点(w==2)

先旋转还是先平移->产生的结果不一样。
此图表示先旋转，再平移。

四元数。

负角度（矩阵的逆）写来出之后发现等于矩阵的转置（官方：正交矩阵）

如何定义一个视角：位置、朝向、上方向

目标：将右上角的摄像机放到左下角的原点、且方向一致。
如图。
那么该如何写步骤呢？

自然是把e移至原点；
从t/g改为-z/y的旋转矩阵一般情况下写不出来，因此使用逆↓

正交-矩阵：把任意地方的矩形变成原点±2的正方体

把左边‘f’的面压缩，变成右边的‘f’，任意点的矩阵怎么写呢

首先：比例是n/z，于是我们就得出了下图

其次：我们根据z不变的原则，把远面f的z乘上n/z

然后我们就知道了（00 ？？）那么怎么求AB呢？
使用了远面f中点不会改变的例子，n符合，f也符合

于是：对远面的“挤”所需要的矩阵就完成了，把远面乘以这个矩阵就得到了挤压后的面。然后再用正交的方法成像就可以了。

光栅化

Raster（光栅）：俄语，屏幕的意思

定义：左下角方块为(0,0)，其中心是(0.5,0.5);蓝色方块为(2,1)，其中心为(2.5,1.5)

视口变换
先不管Z；把XY的[-1,1]变成[0,width]x[0,height]使用的是如图矩阵；拉长->平移。

场景中模型都是由一个个三角形拼出来的，那么在‘挤’->‘挤之后的矩形变成正交矩形’->视口变换之后，必定在屏幕上有一个三角形。
但是屏幕是由一个个像素组成的，三角形穿过这个像素的大小有大有小，那咋办呢？

如图，这方面的定义是采样。采样：给你一个函数f(x)，你用x=1,2,3...去问f(x),是多少，f(x)给你的值就是采样后的答案；就是把函数离散了，就只拿点。
显存在拿到图片之后，去每个像素的中心找值，后面就不用说了。

就这个。

那么该如何判断这个点是否在三角形内呢？做叉乘
边界处理：自行定义。
问题，会有锯齿问题的出现。

反走样（抗锯齿）和深度缓冲

Artifact：锯齿、手机拍电脑的摩尔纹、车轮倒转现象等。翻译叫瑕疵，但不绝对。
原因：信号变化太快，导致采样频率跟不上。
操作：模糊。

原理层面：傅里叶变换。

傅里叶级数展开

把低频的地方删去，只留下高频的部分↑ ↓同理

卷积：取平均数。在原始的数据，取周围数的平均。（模糊用）*图形学上的简化操作。

时域上：卷积。频域上：傅里叶变换。
说一下个人理解吧：就是没理解。大致意思应该是通过傅里叶变换可以得到模糊的边界，然后就可以减少锯齿。
但是计算机层面我看懂了：把一个像素分成n*n个点，求这n²个点的RGB平均值，然后再赋值给这个像素，最后就得到了模糊的边界。

MSAA（专有名词）

把一个像素分成2x2个点。

求平均：第一个点

懂了吗。

Shading

有一种渲染方法是从远处开始渲染：画家渲染法，先画山，再画树再画人。应用到计算机里就是先渲染远处的三角形，再渲染近处的三角形，但是这一做法具有较大的局限性。
比如遇上这种情况

使用通常使用像素渲染法：Z-Buffer。

先通过算法得到深度图，然后才进行渲染。

解析：一开始，每个像素所对应的点都是无限远的地方，然后一层层向视角走，如果有三角形，就拿三角形所对应的点RGB值和深度（depth）z。
然后继续靠近视角，倘若在这个过程中，之前赋值过的像素点的z，有更小的z可以替代了，那么就更新这个z值。
思路如图。

视角看到的颜色和以上数值有关：观察方向V、法线方向n、光照方向l，还有shadingpoint。
都是单位向量：这样就可以控制视角可看到的物体的材质，是金属或是木头。

一个点光源，半径越小，单位面积上的能量就越大，设半径为r，光照强度为I，那么右上角那个点的强度（intensity）就是I/r方。

通过这个公式就可以拿到某个点的漫反射光照强度。
L：漫反射；k：反射强度系数；（使用max是不考虑折射情况）
因为是漫反射，所以每个方向上观察到的颜色都是一样的，因此跟v没有关系。

讲完了漫反射，来讲镜面反射，虽然有镜面一词但不是镜面，镜面反射是出射角处的高光，

计算R和v的差，可以得出高光项。

但是呢，布林和模型：引入了半程向量h（v和l的中心向量），这样就不需要去计算出射角R，只需要计算h，再用h和n做一下点乘，就可以求出高光项，计算优化。

其次，为什么右上角有个p呢：如图，点乘后得出的值比较大，n和h相差89度也很大，因此给它一个指数，如p=64，那这样就只能在20°左右才能看见高光。（p一般100-200）

结果：

环境光照：光在经过一次又一次的漫反射和反射后，会打到物体背光处，从而把物体背光处打亮，但是现实显然不可以去计算如此复杂且多的光照。
因此我们假设每一个点都受到相同的环境光照强度：

于是我们就得到如图，环境光+漫反射+高光=布林和反射

着色频率。

平面着色：取每个面的中心点进行着色，会得到如图的模型。

高罗德着色（点着色）

得到三角形顶点的颜色（假设法线能求）然后在三角形内部，三个点之间的平面颜色使用三个点的插值来计算，得到如图。

phong着色，获得两个相邻三角形的法线，利用插值计算其间每个像素的法线，再依次相加计算每个反射光。

phong着色，获得两个相邻三角形的法线，利用插值计算其间每个像素的法线，再依次相加计算每个反射光。

着色频率越高就越不用高级着色法。

渲染管线

1. **应用程序阶段（Application Stage）**：此阶段由应用程序负责设置场景、相机和物体属性等信息，并将数据传递给图形API（如OpenGL或DirectX）。

2. **几何阶段（Geometry Stage）**：首先，几何阶段通过顶点着色器（Vertex Shader）对每个顶点进行变换和处理，将其从模型空间转换到裁剪空间。接下来，进行剔除（Culling）、裁剪（Clipping）和透视除法（Perspective Division）等操作，最终得到屏幕空间的顶点坐标。

3. **光栅化阶段（Rasterization Stage）**：在这个阶段，根据裁剪后的三角形片元（Fragment）的屏幕位置，生成覆盖像素的片元。这些片元会被进一步处理以确定它们在屏幕上的最终颜色。

4. **片元处理阶段（Fragment Processing Stage）**：在这个阶段，通过片元着色器（Fragment Shader）对每个片元进行处理。片元着色器可以使用纹理、光照等信息计算最终的颜色。

5. **光栅化操作阶段（Raster Operations Stage）**：在这个阶段，进行深度测试（Depth Testing）、模板测试（Stencil Testing）和混合（Blending）等操作，以确定哪些片元应该被渲染到最终的帧缓冲区。

6. **输出阶段（Output Stage）**：最后，将最终生成的图像从帧缓冲区输出到屏幕上进行显示。

也就是说，除了顶点和片元处理，其他的操作都是一样的。
所以在现代计算机中，显卡都帮你写好了顶点和片元处理之外的操作。
我只需要写个顶点和片元处理就行了，即Shader。

上图为片段（像素）着色器。此着色器对每一个像素进行一次漫反射操作。

贴图Texture，uv，取值都是0-1.

重心坐标：任意三角形内的任意一点都可以用α、β、γ去乘ABC这三个点俩表示（系数相加等于一）

系数可以通过面积去求
之所以引入重心坐标，是为了对三维空间中，这个三角形的某个点进行插值，以此来计算这个点的颜色。
之前说过。把三角形投影到2D屏幕之后再做插值，其实这是不对的。当我们把这个三维的三角形，投影到屏幕上时，重心坐标的位置会发生改变，因此在三维空间中先插值了，在投影，才是正确做法。

当一个192*108的图片，想要显示在1920*1080的屏幕上时；
首先，我们进行定义：texel是指贴图上的一个像素。
那在进行展示的时候，屏幕上的一整块的许多像素仅对应一个texel。
这种做法就导致了上图左边图的效果，而这显然不是我们想要的效果。、

因此我们利用了插值的做法。
首先，上图中，黑点代表texel，红点应该是密密麻麻的，此图表示的只是其中一个。
Nearest做法就是把离红点最近的texel给它。
插值做法则是取周围四个点：

双线性插值Bilinear：通过t和s的运算，得到颜色
上图做法是取2*2的texel，仔细观察上眼皮，还是有一定的锯齿状。
Bicubic就是取4*4来插值计算。

相反的，贴图太大，屏幕太小，反而会出现更严重的情况，远处摩尔纹，近处锯齿。
于是，我们就使用范围查询，一个屏幕像素对应这很多texel。
通过计算这一屏幕像素内所有texel的平均值，来表示这个像素的颜色。
特点：很快、会有错误、只能在一个正方形里采样。

示例图，MinMap。
D=log2 X，X表示Level，每一个贴图都会有一个MinMap，原图是Level0，其他的和原图一起存在，虽然有额外7个等级，但是开销非常小，所占用的内存不会超过原图的三分之一。

如上图，远处蓝色部分和近处红色部分用的是同一张贴图，但是他们使用的MinMap的层数不一样，根据屏幕两个像素之间的距离L来找贴图之间的距离L，L越大层数就越大。

在正方形区域，取大一点的L的长度来做一个矩形，这个矩形内的texel的平均值就是MinMap的某个Level。

纹理部分

环境光纹理：物体在场景中，一定会受到环境光的影响，然后将自身受到的环境光反射到视角里。
其根本是一张贴图，有两种技术：矩形变球体、正方体变球体。

凹凸贴图：此贴图通过，改变着色时法线的值来达到凹凸不平的阴影效果。

如下图：凹凸贴图在扰动物体表面的法线。
计算步骤：我们先假设原始的法线竖直向上，再通过凹凸的十分接近的两点来计算改点的切线的斜率dp，然后就得到了切线向量（1，dp），此切线就是该点的平面，然后可以通过交换x和y来拿到垂直于该平面的法线（-dp，1）。
归一化

3D版也是类似的，只不过变成了uv方向。

如上图，此种做法会有缺陷，只是某块地方黑了点，只能简单的骗骗人。
因此我们引入了新的技术：使用相同贴图，不同的技术，可以到达非常好的效果
此技术名为位移贴图，他通过上下移动该点，来真的在物体表面创建凹凸的效果，这样，物体凸起来的部分，也能给旁边的一些地方创造阴影。
但既然要上下移动某个点，就势必会产生更多的技术，同时也需要更多的三角形。
现在只有在微软平台能自动划分三角形。

同时，贴图不止有2D的，3D的也有。

几何

现实生活中，纤维，细胞，等，都非常难用三角形表示出来。
因此，有了隐式表达和显示表达。

上图就是隐式表达，符合fx的所有点就是一个圆环，但是光看表达式看不出来是什么形状。
隐式表示-优点和缺点
优点:
紧凑描述(例如，一个函数)
某些查询很容易(内部对象，到表面的距离)（大于或小于零在形状外面）
有利于射线到表面的交集
对于简单的形状，准确的描述/没有抽样误差．易于处理拓扑的更改(例如，流体)
缺点:
难以建模复杂的形状
因此，隐式表达的都是一些基础模型，在很多建模软件里的那种，通过一个个基础模型的拼拼凑凑和blend（混合），就可得到需要的形状。

这是一个Cube的obj文本文件，v代表8个点，vt代表12个纹理坐标，vn代表6根法线（有8个是因为有很多冗余的地方），f内的参数表示（v/vt/vn）

贝塞尔曲线

三个点，点点之间，去其距离的t倍，得到两个点，这两个点之间距离的t倍，得到一个点。
取不同的t，可以得到一条曲线。
如下图，四个点也是一样的。

既然有t，又有点，那么就可以得到一个公式，如下图。
我没去记，很好理解。

既然有贝塞尔曲线，那么把二维的线，应用到三维的空间中，也是很容易的。

得到四条曲线，取同一垂直方向上的四个点，作为新的点，用这新的四个点再来画一条贝塞尔曲线。
通过移动这个垂直，就可以得到一个贝塞尔曲面。

和二维算法同根。
虽然曲面成像效果非常优秀，但是市面上大部分还是用的网格。

网格细分（图2变成图3）
网格简化（图3变成图2）
网格规划（让模型更正规化，图4的三角形长短大小不一，进行规划之后变成图5，这可以让模型拥有更多不错的性质）

细分

1.loop细分（发明它的人姓loop）

取周围几个值的平均，作为新的点

先产生新的顶点，根据它的度n（点连着几根线）来决定他是怎么个平均法。
得到了新的点之后，原来的u点再根据新的一圈n点来计算（右下角那行）。

Catmull-Clark细分

如上图：三角形表示非矩形的面（只要不是四条边就算）。
紫点表示奇异点：度（和点相接的线）不为4
找到这些面和点

将每一条边的中点和非四边形面的重心点，两两相连，得到新的形状
这个时候重心点就可能会变成奇异点，先不管点的偏移。
有多少奇异点？之前的重心点都变成了奇异点，增加了2个。
奇异点的度？变换前的奇异点的度不变，新增的奇异点的度和其边数有关。
多少个非四边面？0（很神奇是不是，不愧是图灵奖获得者想出来的方法）

再怎么细分也不会增加新的非四边形面或是奇异点

计算步骤如图；
先算面中点，再算线中点（这两个中点都是四个数的平均）
最后调整原先的点，其系数都是研究后得到的结果。

如图。

简化：

取平均不是好方法，因此使用二次误差。
原因是因为使用平均，会让这个原本很凸起的面，变得很扁，所以得让它凸。

如上图，在合并点之后，里我最近的两条边。本来是差不多垂直于我，但是在合并之后和我成差不多45°，这个就是一个误差，称为f。
在简化模型时，算法会获得整个模型所有的f，进行一个排序，同时，在简化一次之后，出现了新的f，利用堆的性质，把这个新的f塞进堆里面，重新排序之后再合并最小的f。

光追

阴影制作：适用于点光源
原理：光能看到的地方就是亮的。
步骤1，在光源处放一个摄像机，拿到深度图。（记录了该点）
步骤2，相机看过去，下图，下面相机投射过去，左边的黑点为例，将此点投射到光源，对比步骤1拿到的深度图，看看该点是不是和深度图上是同一个点，如果是，就打亮，如果不是，就只使用漫反射。
显然，左边的黑点就是深度图上的点，因此打亮；右边的点投射到深度图，发现不是，因为有更近的点。

如上图：将肉眼可见的点投影回光源。
但上述做法有缺点：只能做硬投影，肉眼看到的点，要么亮，要么不亮。

硬VS软

首先，在开始前，我们先定义光线

下图是光追的第一步，和光栅化操作类似。

下图是第二步，进行反射和折射追踪，计算之后的这些点对观察点的光照影响。

计算方面，定义光线：

定义模型的c和R

我们需要去求t的大小和p是否存在（存在就求）下图易证。

点在模型外，与模型必有偶数个交点，在模型内，必有奇数个交点。
因此，通过该方法，可以获得隐式模型上所有的点。

其次，显式模型方面，我们也进行定义：（下图）

通过一根法线和任意一点定义一个面，N和p’，面上面的任意一点p都符合上图公式。

于是，我们也得到了t的大小。显式模型也能通过这种方法做出来。还有反射折射。
但是这方法虽然真实，但是很慢很慢很慢，一个像素点就要去计算几倍的点。
因此我们引入了包围盒模型。

上图中的“卷”和“音量”代表包围盒，此处翻译错误
也就是射线只需要看看有没有打到包围盒，打到了就去计算，没打到就忽略这个模型的所有面。

使用6个无限延伸的面（两两相对，官方说法是3对面），去包围，其相交的空间就是盒。
然后就是去打射线。
如下图，仔细观察左边和中间图的tmin和tmax，这是都是为什么使用3对“对面”的原因，因为这可以再次减少计算，在拿到不同的tmin和tmax后，光线最后进去的tmin和光线最先出来的tmax，就是我们需要的tmin和tmax，如果这两个值不一样，那么就把这个模型算进去。