用人话解释 Transformer 的执行过程

 

1. 向量化。

文本 → Tokenization(分词) → Embeddings(向量化) → 模型

 

2. 模型需要完整上下文 且 知道 token 的相对位置及关系。

 

3. 关注 token 的 score。

 

4. 用输入文本的向量，去查找，得到值向量。

 

5. 得到上下文感知的向量。

 

• 在线拾取图片颜色
• 图片在线压缩
• 在线字符数统计
• 在线录制屏幕

Link：https://www.cnblogs.com/farwish/p/18249431