LlaMA模型架构，什么是LlaMA？

1）什么是LlaMA？
LLaMA的全称是Large Language Model Meta AI，直译为“大语言模型元AI”。由于“Llama”在西班牙语中意为“羊驼”，因此社区也将其昵称为羊驼系模型。

LLaMA于2023年2月由Meta AI发布，是该系列的初代模型。随后，Meta AI又相继推出了LLaMA2和LLaMA3等升级版本。

1. 训练数据：LLaMA的训练数据来源于公开数据集，无任何定制数据集，确保了其工作的开源兼容性和可复现性。整个训练数据集在token化之后大约包含1.4T的token。随着版本的迭代，训练数据的规模不断增加，LLaMA3甚至基于超过15万亿个token的数据进行预训练。

2. 模型规模：LLaMA提供了多种规模的版本，包括7B、13B、70B和405B（4050亿）等不同参数量的模型。这些模型可以根据具体的应用场景和计算资源进行选择。

3. 性能优异：LLaMA在多个基准测试上表现出色，甚至能够媲美或超越一些参数量更大的模型。例如，具有130亿参数的LLaMA模型在大多数基准上可以胜过GPT-3（参数量达1750亿）。
————————————————

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

原文链接：https://blog.csdn.net/m0_59614665/article/details/142220449