liangyming

摘要： 参考：一文看懂 LLaMA 中的旋转式位置编码（Rotary Position Embedding） 原理推导参考自上文，以下结合huggingface代码分析公式计算过程 1 旋转角度计算 计算公式如下，其中d为词嵌入维度，这部分和论文原文一样 \[\theta_j=10000^{-2(j-1)/ 阅读全文

摘要： 代码地址：https://github.com/liangyming/NLP-Word2Vec.git 1. 什么是Word2Vec Word2vec是Google开源的将词表征为实数值向量的高效工具，其利用深度学习的思想，可以通过训练，把对词的处理简化为K维向量空间中的向量运算。简单来说，Word 阅读全文

摘要： Transformer是 Google 在2017年由论文《Attention is All You Need》提出的一个新模型，Transformer 中抛弃了传统的 CNN 和 RNN，整个网络结构完全由 Attention 机制组成，并且采用了6层 Encoder-Decoder 结构。它的结 阅读全文