摘要: 1.改变模型的行为: 使模型的响应更稳定; 使模型聚焦于某一领域; 发展期潜力,在某一方面更加出色,比如对话 2.获取新的知识: 学习预训练阶段没学过的知识; 纠正过时的错误和信息; 阅读全文
posted @ 2025-03-27 23:02 起名字太难0123 阅读(20) 评论(0) 推荐(0)
摘要: 1.模型开始:没有知识,不懂语言 预测下一个token;抓取大量数据(从网上抓取的,没有被整理的,无标签数据);自监督学习(通过预测下一个token)来自我监督 2.训练之后:学会了语言和知识,能够预测下一个token(通用模型) 阅读全文
posted @ 2025-03-27 22:24 起名字太难0123 阅读(6) 评论(0) 推荐(0)
摘要: 1.什么是微调 例:将GPT3这样的通用模型,转化成为象ChatGPT这样专门用于聊天的模型 类比:通用模型:家庭医生,微调模型:心脏病专家或皮肤科医生等具有特定的专业能力的医生,可以更深入地处理心脏问题或皮肤问题 2.微调对模型做了什么 ①微调使模型能够处理比提示词(prompt)更长的数据,这样 阅读全文
posted @ 2025-03-27 15:41 起名字太难0123 阅读(26) 评论(0) 推荐(0)
摘要: from django.db import models class SysOrders(models.Model): id = models.AutoField(primary_key=True) plain_num = models.CharField(max_length=100, verbo 阅读全文
posted @ 2025-03-27 10:00 起名字太难0123 阅读(24) 评论(0) 推荐(0)
摘要: 1997 No_free_lunch_theorems_for_optimization 1.黑箱优化算法:是一类用于解决目标函数或系统模型未知、难以解析或计算成本高昂的优化问题的算法。这类算法不依赖于目标函数的显式表达式,而是通过采样、迭代和反馈机制逐步逼近最优解。 两种流行的黑箱优化策略:进化算 阅读全文
posted @ 2025-03-27 10:00 起名字太难0123 阅读(67) 评论(0) 推荐(0)