Porin

摘要： 机器学习：批次(Batch)与动量(Momentum) 回顾：使用Batch进行最优化 在实际的最优化过程中，我们将很多的数据分成好多份，每一份算出一个$L^{i}\(出来，然后使用它迭代计算\)\mathbf{\theta}^{*}$。具体过程如下图所示： \(\textbf{update}\)： 阅读全文

摘要： 最优化失败的原因 梯度(gradient)为0，最优化无法继续进行下去，称这个点为critical point。critical point分为local minima（局部最小值）和saddle point（鞍点）。如果卡在local minima就已经无路可走，如果在saddle point还是 阅读全文

摘要： Framework of ML 训练模型的过程分为三个步骤： 写出一个具有未知数的$Function$，\(y=f_{\theta}(x)\)，$\theta$表示模型中的所有的未知参数。 定义损失函数$L(\theta)$，函数的输入就是一组参数，用来判断这一组参数的好坏。 进行最优化，寻找让损失 阅读全文

摘要： 什么是机器学习 让机器具有寻找一个函数(Function)的功能 不同类别的函数(Function) 1. 回归(Regression) 函数输出一个标量 2. 分类 给出不同的选项，函数输出正确的那一个。 3. 结构化学习 产生一个有结构的物件，比如画一张图，写一篇文章。 如何找到想要的函数(Fu 阅读全文