curated-transformers 2.0.0 版本技术发布

✨ 新功能与改进

• 通过 catalogue 注册模型，以在 Auto{Decoder,Encoder,CausalLM} 中支持外部模型。
• 增加了对原地加载参数的支持。
• 增加了对 ELECTRA 模型的支持。
• 增加了对 HFHubRepository 进行写入/上传操作的支持。
• 增加了将 Curated Transformer 配置转换为与某机构模型中心兼容的配置的支持。

🔴 错误修复

• 支持 PyTorch 2.2。

⚠️ 向后不兼容变更

• 移除了对 TorchScript 追踪的支持。
• AttentionHeads、AttentionHeads.uniform、AttentionHeads.multi_query 和 AttentionHeads.key_value_broadcast 中的 qkv_split 参数现在变为必选参数。
• 所有 FromHFHub 混入类已重命名为 FromHF。
• 移除了 FromHF.convert_hf_state_dict 方法，取而代之的是 FromHF.state_dict_from_hf 方法。

👥 贡献者

由 danieldk、honnibal、ines、KennethEnevoldsen、shadeMe 提供。
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号（网络安全技术点滴分享）

公众号二维码

公众号二维码