前馈网络(Feed Forword)的参数量计算

Feed Forward(前馈网络)参数量计算

• 主要由2个全连接层组成，论文中全连接层的公式如下:

\[FFN(X) = max(0,xW1+b1)W2+b2 \]

• 其中用到的两个参数W1和W2，已知\(BERT_{BASE}的设置为d_{model}=768\)，BERT沿用了惯用的全连接层大小设置，即\(4*d_{model}=3072\)，因此\(W_1(768,3072)与W_2(3072,768)\)
• 故12层的全连接层参数为\(12*(2*768*3072)=56,623,104\)

---