使用Swanlab进行训练记录

Swanlab是一个简单易用的工具,可用于模型微调过程中对其训练数据进行记录。借助这个工具,可以简化训练数据的记录。
其调用方法类似如下:

import swanlab

# 登录到平台
swanlab.login(api_key="...")
run = swanlab.init(
	project="项目名称",
	experiment_name="本次训练的名称",
	config={
	 "learning_rate":1e-5,
	 "architecture":"TinyBERT",
	 "dataset":"waimai",
	 "epoches":3
	}
)

for epoch in range(epoches):
    ...
	# 记录训练的准确率和误差
    run.log({"acc":...,"loss":...})

通过使用log方法中传入1个字典,从而往平台传输相应的数据。
这里使用TinyBERT通过Prompt Tuning的方式微调外卖数据集。整个过程如下:

可以看到第一轮时准确率已经达到81%,而训练3轮后准确率已经是90%了。
相应的还有系统的相关数据记录,包括GPU内存的使用、温度等信息。

最后是相应日志的输出:

Epoch: 1 Loss: 0.5182, Accuracy: 0.8161
Epoch: 2 Loss: 0.2979, Accuracy: 0.8876
Epoch: 3 Loss: 0.2632, Accuracy: 0.9028
Accuracy: 0.8831

可以看到最终验证集上的准确率达到88%。