2025年10月27日
Swish 和 SwiGLU 激活函数
摘要： import numpy as np import matplotlib.pyplot as plt # # 定义 Swish 和 SwiGLU 激活函数 # def swish(x): """Swish activation: x * sigmoid(x)""" return x / (1 + n 阅读全文
posted @ 2025-10-27 17:52 bonelee 阅读(1) 评论(0) 推荐(0)