摘要： 本篇文章主要介绍MoE（Mixture of Experts，混合专家模型）核心算法，实现方式、对于强化学习算法影响、优劣 一句话介绍：MoE是把Transformer中原本稠密（Dense）的前馈网络（FFN）层，替换为多个并行的、更小的“专家”网络，并引入一个“路由”（Router）来决定每个T 阅读全文

摘要： 本章主要介绍GRPO、GSPO，他们的主要改进点以及解决的问题。 GRPO PPO的问题 LLM后训练算法-PPO介绍了PPO算法的提出，以及其解决的问题。本部分我们介绍PPO如何计算优势函数，然后更新梯度。由此分析PPO算法存在的问题。 1.1优势计算 PPO沿用经典的Actor-Critic范式 阅读全文

摘要： 本篇博客旨在了解强化学习的基本概念，以及LLM后训练算法中的ppo算法。 本文章会花三章来介绍强化学习，包括强化学习的目的，以及常用强化学习算法。第四章介绍PPO 强化学习是什么？它的目标是什么？ 强化学习（Reinforcement Learning，RL）是一种通过与环境交互、根据获得的奖励调整 阅读全文

摘要： 本篇文章主要介绍 什么是Transformer， 它主要用于解决什么问题，以及依靠什么结构设计来解决这些问题 Transformer结构概览 encoder结构 decoder结构 什么是Transformer Transformer首次提出于 Attention is all you need 这 阅读全文

摘要： 长度外推为在不需要对模型进行额外训练的情况下，模型可以处理更长的序列。本篇文章主要介绍目前大模型用到的一些长度外推技术，包括以RoPE为基础进行位置插值、NTK-aware、动态NTK、NTK-by-parts 和YaRN，以及LongLoRA微调技术。关于RoPE，可参见我的上一篇博客LLM学习笔 阅读全文

摘要： 在Transformer模型中，位置编码（Positional Encoding）的引入是为了补充自注意力机制（Self-Attention）在捕捉序列位置信息方面的不足。自注意力机制是Transformer的核心，但它对输入序列的位置信息并不敏感。具体来说，Transformer模型对输入序列中的 阅读全文

摘要： transformer中用到的注意力机制包括self-attention（intra-attention）和传统的attention（cross-attention），本篇文章将在第一节简述这两者的差别，第二节详述self-attention机制，第三节介绍其实现 self-attention和at 阅读全文

摘要： 问题 我在本地调用服务，返回的结果应该是土耳其语，但是本机上显示的结果和服务端的结果不一样。 本地结果 ne yapmal覺y覺m ne yapmal覺y覺m 服务端结果 ne yapmalıyım ne yapmalıyım 经查询是因为本地机器locale设置问题，本地locale 设置语言为中 阅读全文

摘要： 本篇文章主要介绍1. 如何使用python request向服务端发送文件 2. 服务端如何接收文件 3. 服务端如何发送文件 如何使用python request向服务端发送文件 request.post可以发送file类型 def foo(): local_url = "http://127.0 阅读全文

摘要： pytorch 转onnx 首先加载pytorch模型 # load model import torch def load_model(ckpt) # build model model = build_model() # depending on your own model build fun 阅读全文