Fork me on GitHub
2023年2月6日
PaLM中使用的激活函数：SwiGLU
摘要： relu激活函数： $$ ReLU(x)=max(0, x) $$ GeLU激活函数： $$ GeLU=x\Phi(x)=x\int_{-\infty}^{x}\frac{1}{\sqrt{2\pi}}e^{-\frac{t^{2}}{2}}dt=x\cdot \frac{1}{2}[1+erf(\ 阅读全文
posted @ 2023-02-06 11:42 西西嘛呦 阅读(5500) 评论(0) 推荐(0)