limingqi - 博客园

WorldPM: Scaling Human Preference Modeling 偏好模型复现过程以及代码实现

摘要：偏好模型复现思路：如上图所示，通过Stackexchange公开论坛数据集使用qwen系列模型进行全参数微调，训练目标是最小化BT loss，超参数等和论文保持一致偏好模型预训练：数据下载： StackExchange数据下载：https://www.modelscope.cn/dataset 阅读全文

posted @ 2025-07-08 11:24 limingqi 阅读(69) 评论(0) 推荐(0)

我的成长之路：从山野到科技前沿的破壁者

摘要：我出生在群山环绕的小村庄，从村小到镇中学，从县重点高中到省会大学，最终在广东完成硕士学业，这条蜿蜒的求学之路让我明白：人生的边界，永远由自己定义。 2020年，疫情的时候我以校招生身份加入百度，从健康/医美事业部起步，五年间深度参与医疗、教育、金融、汽车等多领域项目，主导申请5项技术专利，并最终进入阅读全文

posted @ 2025-07-03 11:43 limingqi 阅读(88) 评论(0) 推荐(0)

Query—>Plan->Answers智能体规划优化方案

摘要：目标：训练一个能够高效处理从用户查询（query）到生成计划（plan），再到最终回答的智能体，需要结合多种技术和方法。以下是分阶段的合理训练方案设计： 1. 明确架构设计首先需要确定智能体的核心架构，典型结构如下： Query → [理解模块] → Plan → [规划模块] → Sub-ta 阅读全文

posted @ 2025-05-27 15:50 limingqi 阅读(152) 评论(0) 推荐(0)

DeepSeek V3 详细解读

摘要： 1.摘要 DeepSeek-V3 是一个 MoE（Mixture-of-Experts）语言模型，总参数量 671B，每个 Token 激活的参数量为 37B。为实现高效训练与推理，DeepSeek-V3 延续了 DeepSeek-V2 的 MLA（Multi-head Latent Attenti 阅读全文

posted @ 2025-03-10 20:00 limingqi 阅读(1254) 评论(0) 推荐(0)

DeepSeek引发创业的思考

摘要： 2025年春节最火的就是DeepSeek，就像08年小沈阳的火一样，越来越多的不是Ai这个行业的人开始越来越关注Ai，作为一个一直从事Ai的工作者，看到了ChatGPT的涌现后，中国再次冲出来的中国式基础技术的创新，DeepSeek的团队不是很大，团队成员年龄也不是很大，作为一个从业者深深知道一个人阅读全文

posted @ 2025-02-24 12:17 limingqi 阅读(101) 评论(0) 推荐(0)

大模型面试问题总结

摘要： 1）大模型问什么都使用decoder-only a）工程上应用上方便处理多轮对话； b）在没有微调的情况下，其更容易处理zero-shot generation； c）encoder-decoder在微调之后效果优于decoder-only，但是参数量巨大，考虑到性能和计算资源上的消耗更少； d）e 阅读全文

posted @ 2023-10-29 19:35 limingqi 阅读(1015) 评论(0) 推荐(0)

智能问答智能层级调度

摘要： 1、背景目前知道的问题分发主要以端分发为主，其优化目标为问题解决率和回答量，即将不同来源的问题分发到不同的回答平台来提高回答量和解决率；这种分发存在以下几个问题：缺乏内容和用户的层次关联端分发平台没有考虑问题质量和回答用户的层次协同，导致整站在随着问题量暴增的情况下，优质问题被海量普通或低质类阅读全文

posted @ 2023-08-17 21:29 limingqi 阅读(102) 评论(0) 推荐(0)

齐鲁游记

摘要：老妈一直心心念念的齐鲁大地，为了讲好《泰山记》想爬一次泰山，平时总是在书里了解孔子，一直想着能真实、真切的感受孔子文化。每一次幸福的背后，都有人为之负重前行，为了让老妈能真实的感受到这些，我从繁忙的工作中抽取零碎的时间进行策划，为了给她更好的体验，经常下班之后一直策划到11点，最终形成了初步的路线图阅读全文

posted @ 2023-06-09 20:17 limingqi 阅读(65) 评论(0) 推荐(0)

《基于NLP内容理解》出书

摘要：《基于NLP内容理解》出书初心： 1）情怀&梦想：记得自己高中的时候每次冲进我们县城的书店，都能看到书店中央摆放着白岩松老师的一本自传，当时的那种崇拜一直萦绕在自己的心里，想着自己啥时候可以出版一本，这个梦想一直在自己的内心深处呼喊着自己。 2）利他思维：工作之后觉得自己应该把自己学习的知识固化下来阅读全文

posted @ 2023-03-26 20:02 limingqi 阅读(227) 评论(0) 推荐(0)

卓有成效的个人管理

摘要：（1）建立有建设性的人际关系有人际交往能力并不一定能够维持良好的人际关系。在处理自己的工作以及与他人的关系上，如果重视贡献，就能维持良好的人际关系。这样，人际关系才具有建设性。对良好的人际关系的唯一定义是具有建设性。（2）工作中的人际关系取决于业绩如果没有业绩的话，那么在工作中的人际关系上，亲阅读全文

posted @ 2023-02-06 14:24 limingqi 阅读(109) 评论(0) 推荐(0)