当前最流行的先进模型
huggingface社区

paperswithcode


大部分模型都是基于以下表中模型,做了数据集或其他部分的微小变动。
在近几年各种论文的对比实验中,基本对照的模型都是以下模型:
| 模型 |
描述 |
能否训练 |
| BART |
通用模型,适合做摘要任务 |
不能预训练,可以微调 |
| PEGASUS |
针对摘要任务 |
不能预训练,勉强微调? |
| T5 |
通用模型,适合做摘要任务 |
大模型,做摘要任务不能微调 |
| BigBird |
通用模型,稀疏注意力 |
可以预训练 |
BigBird √

Pegasus ⚪




BART -微调

BART微调
T5-微调
微调
simpleT5
FactorSUM
