MLNote_D2L

* 深度学习是“深度”的，模型学习了许多“层”的转换，每一层提供一个层次的表示。 靠近输入的层可以表示数据的低级细节，而接近分类输出的层可以表示用于区分的更抽象的概念。 由于表示学习（representation learning）目的是寻找表示本身，因此深度学习可以称为“多级表示学习”。

 

* 深度学习的一个关键优势是它不仅取代了传统学习管道末端的浅层模型，而且还取代了劳动密集型的特征工程过程。此外，通过取代大部分特定领域的预处理，深度学习消除了以前分隔计算机视觉、语音识别、

自然语言处理、医学信息学和其他应用领域的许多界限，为解决各种问题提供了一套统一的工具。

 

* "端到端"（End-to-End）训练指的是一个从输入到输出的直接学习过程，其中模型试图直接从原始数据映射到最终的任务结果，而不是通过人工设计的中间步骤或特征提取进行。这意味着，在端到端训练过程中，所有的特征学习和任务执行都是由模型自动完成的，从而减少了对领域知识和手工特征工程的依赖。

 

 

*  除了端到端的训练，人们正在经历从参数统计描述到完全非参数模型的转变。当数据稀缺时，人们需要依靠简化对现实的假设来获得有用的模型。当数据丰富时，可以用更准确地拟合实际情况的非参数模型来代替。

 

*  "端到端"（End-to-End）训练指的是一个从输入到输出的直接学习过程，其中模型试图直接从原始数据映射到最终的任务结果，而不是通过人工设计的中间步骤或特征提取进行。这意味着，在端到端训练过程中，所有的特征学习和任务执行都是由模型自动完成的，从而减少了对领域知识和手工特征工程的依赖。

 

* 张量表示一个由数值组成的数组，这个数组可能有多个维度。具有一个轴的张量对应数学上的向量（vector）；具有两个轴的张量对应数学上的矩阵（matrix）；具有两个轴以上的张量没有特殊的数学名称。

 

*  高斯分布，广泛称之为正态分布（Normal Distribution），是自然、社会科学以及统计学中最为重要的连续概率分布之一。通常由两个参数定义：

　　- 均值（μ 或 mean）：分布的中心，表示数据的平均值所在的位置。
　　- 方差（σ² 或 variance）：衡量分布的宽度，标准差（σ 或 standard deviation）是方差的平方根，表示数据分散程度。

　　均值为0，方差为1时为标准的正态分布。

 

* 广播机制通过复制行或列来填充矩阵不足的部分，使得两个形状不同的矩阵也可以一起计算

* RAG（Retrieval-Augmented Generation）检索增强生成技术，结合信息检索（可检索外挂知识库）和生成模型的优势，在生成自然语言内容或进行问答时，通过检索相关文档来增强生成的效果。