摘要:
Transformer不是编解码器都有的吗?为什么会发展出仅 解/编 码器模型?三者之间有什么不同? 为什么现在的LLM都是Decoder only的架构? 阅读全文
摘要:
LLM常见归一化方法 LayerNorm 在早期的研究中,批次归一化(Batch Normalization, BN)是一种广泛采用的归一化方法。然而,该方法难以处理可变长度的序列数据和小 批次数据。因此,相关研究提出了层归一化这一技术 ,针对数据进行逐层归一化。具体而言,层归一化会计算每一层中所有 阅读全文
摘要:
def inbatch_softmax_loss(user_pred_vector, item_pred_vector, item_id, labels): labels = tf.linalg.diag(tf.reshape(tf.ones_like(labels),[-1])) diff = t 阅读全文
摘要:
论文链接:HoME: Hierarchy of Multi-Gate Experts for Multi-Task Learning at Kuaishou 背景 论文指出现在的MMOE/PLE模型存在以下几个问题: 1. 专家崩溃:专家的输出分布存在显着差异,并且一些专家使用 ReLU 的零激活率 阅读全文
摘要:
模型结构:左边多个encoder结构堆叠 + 右边多个decoder结构堆叠 + Linear + softmax计算预估概率 encoder输入:词embedding和position embedding求和,shape是(batch,suqence len, input_dim) encoder 阅读全文
摘要:
#include <iostream> #include <vector> class DynamicArray { private: std::vector<int> arr; public: // 默认构造函数 DynamicArray() {} // 析构函数 ~DynamicArray() 阅读全文
摘要:
广告行业中那些趣事系列24:从理论到实践解决文本分类中的样本不均衡问题 阅读全文
摘要:
KDD'21 | 揭秘Facebook升级版语义搜索技术 阅读全文