学习进度条3.25

所花时间：5小时
代码量：100
搏客量：1
了解到的知识点：
共轭梯度法（Conjugate Gradient Method，简称CG方法）是一种用于求解线性方程组的迭代方法，主要用于求解大规模稀疏线性方程组。以下是关于共轭梯度法的详细介绍：
定义与原理
定义：共轭梯度法是一种迭代优化算法，用于求解线性方程组 Ax=b，其中 A 是对称正定矩阵。它也可以用于最小化二次函数。
核心思想：通过构建一系列相互共轭的方向，逐步逼近问题的解。共轭方向是指相对于矩阵 A 正交的方向。
与梯度下降法的区别：梯度下降法每次沿负梯度方向更新，容易出现“之字形”路径，收敛速度较慢。而共轭梯度法通过选择共轭方向，避免了这种问题，收敛速度更快。
优点
存储量小：不需要存储矩阵 A 的逆，只需存储少量向量。
收敛速度快：对于大规模稀疏线性方程组，共轭梯度法的收敛速度比梯度下降法快。
计算效率高：每一步迭代只需进行矩阵与向量的乘法运算。
应用
数值计算：广泛应用于求解大规模稀疏线性方程组。
机器学习：在训练神经网络时，共轭梯度法可以作为优化算法，用于最小化损失函数。它通过随机梯度来近似地优化损失函数，具有数据并行和速度提升的特点。
图像处理：在图像恢复、图像压缩和图像重建等方面有应用。