2024年1月13日
使用Mixtral-offloading在消费级硬件上运行Mixtral-8x7B
摘要： Mixtral-8x7B是最好的开放大型语言模型(LLM)之一，但它是一个具有46.7B参数的庞大模型。即使量化为4位，该模型也无法在消费级GPU上完全加载(例如，24 GB VRAM是不够的)。 Mixtral-8x7B是混合专家(MoE)。它由8个专家子网组成，每个子网有60亿个参数。8位专家中 阅读全文
posted @ 2024-01-13 09:46 deephub 阅读(102) 评论(0) 推荐(0)