王乐Levi的技术博客

摘要： 线性回归问题是用于研究因变量（目标变量）与一个或多个自变量（特征变量）之间的线性关系。一个基础的线性回归问题：在最基础的线性回归问题中，给定一组数据点 (x,y)，目标是求解线性方程$$y=ax+b$$中系数a和b，使得该直线最能反映数据的内在规律。 最小二乘法 几何思路 我们尝试将数据代入方程中， 阅读全文

摘要： 本篇文章尝试通过具体的神经网络例子，来深入探讨”死亡ReLU“的问题。 很多资料都会提到神经元”永久性死亡“这种说法，我认为这会对我们的理解产生一定的误解。事实上，神经元的状态一直都是动态的，是受到多个因素的影响的。那么是哪些因素在什么样的条件下会导致”死亡ReLU“问题呢？ 首先我们回顾一下ReL 阅读全文