Porin

摘要： 最优化失败的原因 梯度(gradient)为0，最优化无法继续进行下去，称这个点为critical point。critical point分为local minima（局部最小值）和saddle point（鞍点）。如果卡在local minima就已经无路可走，如果在saddle point还是 阅读全文

摘要： Framework of ML 训练模型的过程分为三个步骤： 写出一个具有未知数的$Function$，\(y=f_{\theta}(x)\)，$\theta$表示模型中的所有的未知参数。 定义损失函数$L(\theta)$，函数的输入就是一组参数，用来判断这一组参数的好坏。 进行最优化，寻找让损失 阅读全文