深度强化学习——随机下降和随机梯度下降

最近在看强化学习的经典课程手动学习强化学习，每一课都会提到随机下降和随机梯度下降，看的似懂非懂。刚刚回顾了一下以前的笔记，茅塞顿开，特地记录一下。

随机下降

• Q1:随机下降在做什么？
  随机下降的公式这里不再记录，它的目的是为了求函数的解（这个很重要）。

• Q2:强化学习里为什么需要随机下降？
  因为希望每一个样本就可以更新一次值函数，而不是等一个episode结束，而单个样本带有偏差，刚好满足了随机下降需要的扰动。

• Q3:强化学习怎么使用随机下降？
  在强化学习里，解决model free情况下的价值函数时，常常用价值函数的期望表达式，而求解期望就用到了随机下降。为求E(XX)，假设函数g(w) = w - E(X)，那么g(w)的解w*就是E(X)。随机下降wk+1 = wk - αk * (g(w) + 扰动)，而样本X的期望就是E(X)，所以x = E(X) + 扰动，那么wk+1 = wk - αk * (wk - xk)，以上。

随机梯度下降

随机梯度下降在逼近于最值，逼近于最值本身就等于逼近于梯度的零点，因此将g(w)变成了g(w)的梯度，其余的一致。