2025年2月20日
SciTech-EECS-BigDataAIML-NN(神经网络): 模型约定 + MoE(医院)模型(1:Dispatcher(Softmax)+N:Transformers(ReLU)): 先由每条Xi选取"最合适矩阵Mj" + 后用"Mj(最合适矩阵)"变换(左乘)Xi
摘要： SciTech-EECS-BigDataAIML-NN(神经网络): 模型约定: 输入矩阵(Model Input) \(X\) 都是 Columnwise("列向量\(X_i\)" 组成的 "行数组"); 变换矩阵\(W\) 都是" Rowwise"的("行向量\(W_j\)" 组成 的"列数组" 阅读全文
posted @ 2025-02-20 23:28 abaelhe 阅读(19) 评论(0) 推荐(0)