PreTrainedModel 中 from_pretrained 和 load_state_dict 的关联

from_pretrained

  1. AutoTokenizer.from_pretrained：从path/vocab.json中加载tokenizer

  2. AutoConfig.from_pretrained：从path/config.json中加载模型配置信息

    • 更新模型配置信息：model = Model(config)

  3. PreTrainedModel.from_pretrained：加载模型结构和模型参数

load_checkpoint

从 checkpoint 中加载模型 parameter，而不加载模型结构

posted @ 2023-11-09 23:34  WActen  阅读(225)  评论(0)    收藏  举报