2024年8月17日
大模型相关问题
摘要： 大模型问题汇总 llama 2注意力机制，手写分组注意力机制 GQA分组注意力机制(为了加速模型训练和推理，MHA每个head都需要一个QKV矩阵，于是有了将K,V矩阵分组，几个head共用一个KV矩阵，Q矩阵不变) MQA 则是所有的head共用KV矩阵 langchain介绍，主要组件 lang 阅读全文
posted @ 2024-08-17 16:46 adam86546853 阅读(91) 评论(0) 推荐(0)