11.5.2 小批量

首先复习一下有放回抽样和无放回抽样的等价性。假设现在有\(n\)个不同物体，我们从中抽取\(B\)个物体。计算第\(i\)次抽到某个特定物品的概率。对于有放回抽样，概率为\(\frac{1}{n}\)；对于无放回抽样，概率为\(\frac{A^{B-1}_{n-1}}{A^{B}_n}=\frac{1}{n}\)；我们还可以证明在无放回抽样中，第\(i\)次抽取和第\(j\)次抽取是独立的
期望保持不变：\(E[\frac{1}{B}\underset{i=1}{\overset{B}{\sum}}\partial f(x_i)]=\frac{1}{B}\underset{i=1}{\overset{B}{\sum}}E[\partial f(x_i)]=\nabla f(x)\)
标准差减小\(B^{-\frac{1}{2}}\)：\(\text{Var}[\frac{1}{B}\underset{i=1}{\overset{B}{\sum}}\partial f(x_i)]=\frac{1}{B^2}\underset{i=1}{\overset{B}{\sum}}\text{Var}[\partial f(x_i)]\)