摘要: Transformer不是编解码器都有的吗?为什么会发展出仅 解/编 码器模型?三者之间有什么不同? 为什么现在的LLM都是Decoder only的架构? 阅读全文
posted @ 2025-02-06 10:27 xd_xumaomao 阅读(7) 评论(0) 推荐(0) 编辑
摘要: LLM常见归一化方法 LayerNorm 在早期的研究中,批次归一化(Batch Normalization, BN)是一种广泛采用的归一化方法。然而,该方法难以处理可变长度的序列数据和小 批次数据。因此,相关研究提出了层归一化这一技术 ,针对数据进行逐层归一化。具体而言,层归一化会计算每一层中所有 阅读全文
posted @ 2025-02-05 17:45 xd_xumaomao 阅读(6) 评论(0) 推荐(0) 编辑
摘要: def inbatch_softmax_loss(user_pred_vector, item_pred_vector, item_id, labels): labels = tf.linalg.diag(tf.reshape(tf.ones_like(labels),[-1])) diff = t 阅读全文
posted @ 2025-01-22 18:13 xd_xumaomao 阅读(5) 评论(0) 推荐(0) 编辑
摘要: 论文链接:HoME: Hierarchy of Multi-Gate Experts for Multi-Task Learning at Kuaishou 背景 论文指出现在的MMOE/PLE模型存在以下几个问题: 1. 专家崩溃:专家的输出分布存在显着差异,并且一些专家使用 ReLU 的零激活率 阅读全文
posted @ 2025-01-22 12:03 xd_xumaomao 阅读(30) 评论(0) 推荐(0) 编辑
摘要: 模型结构:左边多个encoder结构堆叠 + 右边多个decoder结构堆叠 + Linear + softmax计算预估概率 encoder输入:词embedding和position embedding求和,shape是(batch,suqence len, input_dim) encoder 阅读全文
posted @ 2025-01-21 10:46 xd_xumaomao 阅读(2) 评论(0) 推荐(0) 编辑
摘要: #include <iostream> #include <vector> class DynamicArray { private: std::vector<int> arr; public: // 默认构造函数 DynamicArray() {} // 析构函数 ~DynamicArray() 阅读全文
posted @ 2025-01-20 11:03 xd_xumaomao 阅读(4) 评论(0) 推荐(0) 编辑
摘要: 广告行业中那些趣事系列24:从理论到实践解决文本分类中的样本不均衡问题 阅读全文
posted @ 2025-01-15 11:53 xd_xumaomao 阅读(6) 评论(0) 推荐(0) 编辑
摘要: RecSys'24 | 腾讯广告NISE:使用非点击样本做CVR预估 阅读全文
posted @ 2024-12-24 12:03 xd_xumaomao 阅读(19) 评论(0) 推荐(0) 编辑
摘要: KDD'21 | 淘宝搜索中语义向量检索技术 阅读全文
posted @ 2024-12-24 11:12 xd_xumaomao 阅读(5) 评论(0) 推荐(0) 编辑
摘要: KDD'21 | 揭秘Facebook升级版语义搜索技术 阅读全文
posted @ 2024-12-18 16:08 xd_xumaomao 阅读(6) 评论(0) 推荐(0) 编辑