sellingpear - 博客园

2025年10月11日

摘要： 2025.10.11 1.掩码语言建模（MLM）任务在预训练阶段的主要目的是让模型通过预测被掩码的词来学习上下文相关的双向表示，如BERT模型所示。 2025.10.15 1.大型预训练语言模型（如GPT、BERT等）的预训练阶段通常采用自监督学习（Self-Supervised Learning）阅读全文

posted @ 2025-10-11 22:05 sellingpear 阅读(6) 评论(0) 推荐(0)

分布式训练的一些知识

摘要： 2025.10.11 1.在分布式训练大型模型时，数据并行策略的核心定义是：在多个设备上复制完整模型，每个设备处理独立的数据批次，并通过同步梯度来更新模型参数。阅读全文

posted @ 2025-10-11 22:03 sellingpear 阅读(8) 评论(0) 推荐(0)

微调相关的一些概念

摘要： 2025.10.11 1.在大型语言模型的预训练-微调范式中，参数高效方法（如Adapter、LoRA）旨在通过仅更新少量参数来减少微调的计算开销。阅读全文

posted @ 2025-10-11 22:02 sellingpear 阅读(5) 评论(0) 推荐(0)

ROC曲线

摘要： 2025.10.11 1.ROC曲线（接收者操作特征曲线）描述了模型的真正率（TPR）与假正率（FPR）之间的关系，用于评估二分类模型的性能阅读全文

posted @ 2025-10-11 21:59 sellingpear 阅读(17) 评论(0) 推荐(0)

低秩适配器（LoRA）

摘要： 2025.10.11 1.核心思想通过冻结预训练模型的权重，避免全量微调，并添加可训练的低秩分解矩阵来高效捕获新任务的知识阅读全文

posted @ 2025-10-11 21:58 sellingpear 阅读(30) 评论(0) 推荐(0)

2025年8月15日

微调

摘要： 2025.8.15 1.为啥要微调：主要是适配自家的业务、行业 2.主要流程 2.1.确定任务和目标：比如文本分类、问答系统等，也就是希望模型达到什么样的效果 2.2.准备数据：训练集、验证集、测试集等 2.3.数据预处理：将数据转换成模型可以接受的格式 2.4.选择合适的训练模型 2.5.调整模型阅读全文

posted @ 2025-08-15 00:15 sellingpear 阅读(15) 评论(0) 推荐(0)

RAG

摘要： 2025.8.14 1.主要有6步 1.1 用户输入处理：解析查询，可能进行意图识别、实体识别、查询扩展 1.2 文档检索：使用索引从文档库中找到相关段落，可能需要预处理和索引 1.3 文档处理：堆找到的结果进行排序、去重、截断、摘要 1.4 信息整合：将处理结果和原查询结合，交给生成模型 1.5 阅读全文

posted @ 2025-08-15 00:01 sellingpear 阅读(11) 评论(0) 推荐(0)

2025年8月14日

Agent

摘要： 2025.8.14 1.agent的搭建围绕“任务规划”、“工具调用”、“记忆管理”这三部分阅读全文

posted @ 2025-08-14 23:46 sellingpear 阅读(3) 评论(0) 推荐(0)

2025年4月29日

可靠可用设计模式

摘要： 2025.4.29 1.可靠性的核心是冗余设计 2.故障处理模式 2.1.故障隔离，可以考虑可靠性沙箱等 2.2.故障恢复 2.3.故障检测 3.过载控制 3.1.过载限流 3.2.弹性伸缩 4.升级不中断业务 5.地理容灾 6.数据要满足数据高可用 7.应对瞬时故障——有限重试——考虑到杀手消息，阅读全文

posted @ 2025-04-29 23:57 sellingpear 阅读(21) 评论(0) 推荐(0)

2024年10月18日

支付系统

摘要： 1.支付系统发起请求，支付事件入库 2.支付事件获取相关的支付细节，货币类型、价格，阅读全文

posted @ 2024-10-18 00:39 sellingpear 阅读(24) 评论(0) 推荐(0)

卖梨的

一天能做很多事

公告