20210202
今天看的部分是最优化问题。正如同先前的“分类”部分，基本都是通过梯度下降来解决的损失函数最优化问题。所述的算法不做赘述，但每种算法都有着其自己的优势：譬如通过模拟动量结果得出快不容易受平台影响的动量法及其变种，会“尝试”别的方向的AdaGrad算法及其变种，以及结合两者特点更容易找到全局最优的Adam算法。虽然有着例如Adam这种非常万金油的算法存在，但实际的时候也可以结合特点使用最合适的算法来最优化的同时降低运算等。当然，这一切都要基于对于算法的熟悉程度及特点，否则可能弄巧成拙
