模型训练期间遇见的问题

全局固定随机种子的情况下,在模型A的基础上添加新的模块得到模型B,新的模块在运行N个epoch之后,才会使用,那么在前N个epoch运行期间,两个模型的参数变化、损失函数等是否应该相同

回答: 不一定相同,如果新添加的模块存在自己的参数,那么在模型参数初始化的期间,会导致两个模型相同参数初始化结果不一样。
验证方式: 打印两个模型初始化参数即可观察得出

posted @ 2024-01-21 15:37  一念错·误终生  阅读(12)  评论(0)    收藏  举报