领域数据下重新预训练模型和原始bert性能分析
一个观点:在所属领域内重新对bert模型做预训练后,对于下游任务性能必定会带来提升。
实验:观察在下游ner任务中的loss变化情况
1)原始bert
全局评估:{'acc': 0.7899749373433584, 'recall': 0.7831704488984595, 'f1': 0.7865579770420896}
2)再次预训练bert
全局评估:{'acc': 0.7769423558897243, 'recall': 0.770250124233891, 'f1': 0.7735817667609381}
结论:经过预训练过后的loss变化是否更好,更平滑? 但是指标都降了一个点啊,因该是我的预训练太少导致(50w,15G),记下来扩充数据继续看效果
未完,,,
时刻记着自己要成为什么样的人!