Chapter 2 Vectors and functions

Chapter 2 Vectors and functions

2.1 Vector basic

• 介绍了 Vector，非常细致、基础和简单的示例
• 介绍了 Vector spaces，以及相应的子空间、张成的子空间、直和、独立性、基、维度、仿射集这些一连串的概念。没有太多明确严格的定义，但很好理解。尤其是对基、维度的描述，真的是通俗。

2.2 Norms and inner products

范数和内积的定义与简单的应用实例

• 范数：The concept of length and distance -> Norms and \(l_p\) norms -> Norm balls
• 内积：Inner product -> Angle between vectors -> Cauchy-Schwartz inequality and its generalization -> Maximization of inner product over norm balls
• 正交性与正交补：Orthogonal vectors -> Orthonormal vectors -> Orthogonal complement -> Direct sum and orthogonal decomposition

其中的内容初学者看一定特别容易懂：

• 为什么要引入范数这个比欧氏距离更宽泛的概念？使用街道地图的想法非常巧妙
• 对内积的介绍也是非常的自然和流畅

2.3 Projections onto subspace

• Projection onto a one-dimensional subspace

• Projection onto an abitrary subspace

  Projection Theorem -> Projection on affine set

  • Euclidean projection of a point onto a line/hyperplane /span
    • 这里的投影指的是在给定的集合上找到最接近给定的点的问题，作者表示这是优化的核心内容之一。
    • 核心思想由 Projection Theorem 描述，\(\min_{y \in \mathcal{S}}||y-x||\)，实际的对直线、超平面和向量张成的向量空间场景的求解有类似的过程

• Gram-Schmidt procedure

  • 当理解了核心思想，即使具体操作一时忘记了，也可以很快的看懂 【20241113】

2.4 Functions

• Functions and maps：Function 与 Map 的概念，map 多用于表示返回向量的函数，无聊的区别...
• Sets related to functions：graph, epigraph, level and sublevel set 熟人
• Linear and affine functions：Linear 的定义，通俗的 affine 描述 当且仅当函数\(\tilde{f}(x)=f(x)-f(0)\)是线性的
• Hyperplanes and half-space：超平面与半空间的介绍，很易懂的几何描述
• Gradients：列向量、一阶导数，链式法则 【20241118】 几何意义
• Application to visualization of high-dimensional data：将高维数据投影到低维的 affine sets 便于可视化

2.5 Exercises

证明不等式的题目有证明赫尔德不等式这样的新东西，但是都挺简单的，做完可以增长信心。【20241122】