Fork me on GitHub
2021年6月1日
关于warm up（transformers.get_linear_schedule_with_warmup）
摘要： 基本使用 transformers：2.10.0 这里就不使用pytorch中的dataset和dataloader了，简单的模拟下： from transformers import AdanW, get_linear_schedule_with_warmup optimizer = AdamW( 阅读全文
posted @ 2021-06-01 11:42 西西嘛呦 阅读(1200) 评论(0) 推荐(0)