白氏可乐可乐

摘要： 学习内容 1、掌握vLLM部署框架：配置运行环境、参数含义、性能调优 2、认识大模型量化(权重与激活量化、KV Cache量化、混合精度量化)，使用主流方法(GPTQ\AWQ\GGUF)压缩大模型并部署量化 3、Docker镜像 阅读全文

摘要： 学习任务 1、熟悉LLM预训练-微调-推理流程：预训练、SFT微调(PEFT)、对齐微调、RLHF、提示词 2、学习大模型训练/微调数据集格式，构建自己的数据集 3、部署LLaMA-Factory项目， 用无代码界面熟悉大模型部署/训练/评估/本地API生成 已完成的任务 1、LLM预训练-微调全流 阅读全文