摘要:问题 说明: y、w为列向量,X为矩阵 式子演化 看到这个例子不要急着去查表求导,先看看它的形式,是u(w)∗v(w)的形式,这种形式一般求导较为复杂,因此为了简化运算,我们先把式子展开成下面的样子(注意:(Xw)T=wTXT): 然后就可以写成四个部分求导的形式如下(累加后求导=求导后累加): 求 阅读全文
posted @ 2019-07-07 21:50 Geeksongs 阅读 (79) 评论 (0) 编辑
摘要:当我们在求解梯度下降算法的时候,经常会用到正规方程来求解w的值,这个时候就用到正规方程来求解是最快的方法,但是正规方程又是怎么来的呢?我们来看看:首先我们设我们的损失函数为 MSE train,那么这个时候我们只需要对其求解偏导就好了,于是我们有∇ w MSE train = 0 。具体推导过程如下 阅读全文
posted @ 2019-07-07 20:18 Geeksongs 阅读 (120) 评论 (0) 编辑
摘要:我们在计算模型w的转置乘上x的时候,往往需要把w和x分别进行向量化然后运算,因为这样会使我们的计算机得到结果的时间更快,而且这种方法不管是在CPU还是在GPU上都是成立的,首先我们来看看代码: 第一种方法方法运用了向量化来计算,也就是numpy当中的dot函数来计算,第二种方法则是利用了我们传统的f 阅读全文
posted @ 2019-07-07 11:25 Geeksongs 阅读 (71) 评论 (0) 编辑