核心

二、核心架构：Transformer

1. 自注意力Self-Attention：抓取句子前后关联，看懂指代、逻辑；
​
2. Encoder：理解输入（BERT类只用编码器，侧重理解）；
​
3. Decoder：生成文本（GPT类只用解码器，侧重续写）；
​
4. 位置编码：让模型识别字词先后顺序。