摘要：本文将在DialogSum数据集上使用2张T4卡对2.7B的microsoft/phi2进行LORA微调。 博客翻译自Kaggle项目 fine-tuning-llm-for-dialogue-summarization https://www.kaggle.com/code/aisuko/fine 阅读全文

摘要：基于 HuggingFace的Transformer库，在Colab或Kaggle进行预训练。 鉴于算力限制，选用了较小的英文数据集wikitext-2 目的：跑通Mask语言模型的预训练流程 一、准备 1.1 安装依赖 !pip3 install --upgrade pip !pip instal 阅读全文

摘要：基于 HuggingFace的Transformer库，在Colab或Kaggle进行预训练。 本教程提供：英文数据集wikitext-2和代码数据集的预训练。 注：可以自行上传数据集进行训练 目的：跑通自回归语言模型的预训练流程 一、准备 1.1 安装依赖 !pip install -U data 阅读全文