2023年12月14日
聊聊ChatGLM2-6B模型的微调
摘要： 概述 GLM、ChatGLM的相关基础知识说明： GLM模型底层还是基于Transformer，因此其设计、优化都是围绕Transformer的各个组件的。从注意力层的掩码、位置编码等方面优化与设计。 ChatGLM3/ChatGLM2的源码中，比如finetune、trainer等代码，其实是co 阅读全文
posted @ 2023-12-14 10:02 又见阿郎 阅读(511) 评论(0) 推荐(0)