LeonYi

2023年10月6日
【LLM】在Colab上使用免费T4 GPU进行Chinese-Llama-2-7b-4bit推理
摘要： 一、配置环境 1、打开colab，创建一个空白notebook，在[修改运行时环境]中选择15GB显存的T4 GPU. 2、pip安装依赖python包 !pip install --upgrade accelerate !pip install bitsandbytes transformers_ 阅读全文
posted @ 2023-10-06 23:24 LeonYi 阅读(1974) 评论(0) 推荐(1) 编辑