摘要: LLM面面观之RLHF平替算法DPO 此文是本qiang~针对大语言模型的DPO算法的整理,包括原理、流程及部分源码。 阅读全文
posted @ 2024-01-31 12:37 mengrennwpu 阅读(319) 评论(0) 推荐(0) 编辑
摘要: LLM面面观之LLM上下文扩展方案 1. 背景 本qiang~这段时间调研了LLM上下文扩展的问题,并且实打实的运行了几个开源的项目,所谓实践与理论相结合嘛! 此文是本qiang~针对上下文扩展问题的总结,包括解决方案的整理概括,文中参考了多篇有意义的文章,他山之石可以攻玉。 大语言模型的扩展有诸多意义,如进行更长的会话、总结更长的文 阅读全文
posted @ 2024-01-22 13:48 mengrennwpu 阅读(178) 评论(0) 推荐(1) 编辑
摘要: LLM面面观之LLM复读机问题及解决方案 LLM复读机产生的原因以及对应的解决方案 阅读全文
posted @ 2023-12-14 15:42 mengrennwpu 阅读(456) 评论(0) 推荐(0) 编辑
摘要: LLM面面观之Prefix LM vs Causal LM 1. 背景 关于Prefix LM和Causal LM的区别,本qiang在网上逛了一翻,发现多数客官只给出了结论,但对于懵懵的本qiang,结果仍是懵懵... 因此,消遣了多半天,从原理及出处,交出了Prefix LM和Causal LM两者区别的更为清楚的说明。 2. Prefix LM Pre 阅读全文
posted @ 2023-11-29 14:36 mengrennwpu 阅读(726) 评论(0) 推荐(0) 编辑
摘要: 最近在看CoT(Chain-of-Thought,思维链)方面的论文《Chain-of-Thought Prompting Elicits Reasoning in Large Language Models》,主要解决大模型(100B+参数)在算术计算、常识推理、以及符号操作等涉及推理的场景。 但 阅读全文
posted @ 2023-02-07 17:30 mengrennwpu 阅读(639) 评论(0) 推荐(0) 编辑
摘要: ​ Meta AI在2022年5月3日新发布的OPT-175B模型,该模型是现阶段第一个模型参数超过千亿级别的开放模型,其次该模型与GPT-3相比,更加开放及便于访问。 具体开放性表现在如下几个方面: 1. 论文: 提供了某些能力是可能的存在证明,并揭示可以建立在此基础上的一般思想 2. API访问 阅读全文
posted @ 2022-05-05 08:29 mengrennwpu 阅读(1222) 评论(0) 推荐(0) 编辑
摘要: 1. 背景 (1) 业务方提供了一台有GPU的服务器,且已经安装了显卡等组件,cuda版本10.2,具体信息如下 (2) 在裸机上部署anaconda、pytorch、tensorflow较为麻烦,因此打算在docker中执行pytorch和tensorflow任务 2. 部署及使用 2.1 先决条 阅读全文
posted @ 2021-04-30 19:30 mengrennwpu 阅读(1077) 评论(0) 推荐(0) 编辑
摘要: 1. 背景 DBA同事反馈说Mongp集群磁盘占用空间过大,超过监控告警95%阈值,因此建议删除部分资源或者申请扩容,本着开源节流的理念,还是乖乖看哪些老数据应该删除。但Mongo中的库和表过多,因此如何进行统计? 2. MongoDB库表占用空间统计 其实,MongoDB中库表的占用空间统计方式N 阅读全文
posted @ 2021-04-30 17:39 mengrennwpu 阅读(1969) 评论(0) 推荐(0) 编辑
摘要: 1. 背景 (1) 客户反映es查询只能返回10000个数据,而需求时返回1.9W个数据,因此需要设置对应索引的默认返回数index.max_result_window (2) 给客户部署的服务以docker-compose启动,其配置文件docker-compose.yml文件如下,其中es版本为 阅读全文
posted @ 2021-03-11 12:18 mengrennwpu 阅读(838) 评论(0) 推荐(0) 编辑
摘要: 1. 背景 业务方的服务器经安全检查,发现以docker容器启动的mongo未增加鉴权的漏洞,随优化之 2. 配置 mongo以docker compose方式启动,镜像的版本号为4.2.6,docker-compose.yml配置文件内容如下: version: '2' services: mon 阅读全文
posted @ 2021-02-19 15:53 mengrennwpu 阅读(177) 评论(0) 推荐(0) 编辑