ai 实习 面试题 面经
1.深入剖析ReAct框架的局限性，并在此基础上，详细解释Plan-Then-Act、ReAct + 轻规划以及Tree/Graph Planning（如ToT、LATS）这三种范式的核心区别、适用场景和各自的优缺点。
2.请阐述“思维链”（Chain-of-Thought, CoT）与“规划”（Planning）的本质区别。为什么说CoT仅仅是“将推理过程写出来”，而Planning是生成一个“可执行的任务表”？请用具体例子说明。
3.在处理一个需要多步工具调用的复杂任务（例如“调研三篇关于RAG+RL的论文并输出中文总结”）时，如何设计一个鲁棒的规划机制来应对中间步骤的失败（如某个API调用超时或返回数据格式错误）？请描述具体的重试、回滚或重规划策略。
4.详细解释Tree-of-Thoughts (ToT) 或类似LATS（使用LLM进行蒙特卡洛树搜索）的框架是如何工作的？它们与传统的线性规划相比，在探索最优解题路径上有何本质优势？
5.在Agent推理过程中，经常会出现“推理断层”或“结果与目标偏离”的问题。请结合具体技术或你的实践经验，说明如何通过提示工程、记忆机制或架构设计来缓解或解决这一问题。
6.请深入剖析大模型Agent的“长期记忆”模块。在设计一个能够持续运行、与用户长期交互的Agent时，你会如何设计记忆的存储结构（如向量数据库、图数据库）、更新策略（如记忆合并、遗忘机制）、检索机制（如重排序、混合检索）来确保记忆的高效和准确？
7.当历史对话记录非常长时（远超模型上下文窗口），你有哪些策略来优化记忆的查询效率并保证关键信息不丢失？请比较“滑动窗口”、“总结压缩”、“向量检索”等不同方案的优劣。
8.什么是“混合检索”（Hybrid Search）？请解释为什么在工业级RAG系统中，纯向量检索往往不够用，需要结合关键词检索（如BM25）。请给出一个具体的业务场景，说明混合检索的必要性。
9.在定义Function Calling（或Tool Calling）的工具Schema时，除了基本的参数名和类型，如何通过优化description字段来显著提高大模型调用工具的准确率？请结合一个具体例子，说明如何进行“负向约束”或提供调用策略。
10.当Agent拥有众多工具时，如何设计一个高效且准确的工具选择策略？是每次将所有工具描述都推给模型（存在上下文窗口限制和干扰），还是采用分层过滤、基于检索的预选择机制？请详细说明你的设计方案。
#大模型 #大模型面试 #minimax #agent #大模型应用 #大模型微调 #大模型面试题 #算法
1.zero123
2.你有没有实际对比过普通 DDP 和 ZeRO-1？比如 4 卡情况下，把 optimizer state 或 gradient 切成 shard 之后，显存大概能省多少？
3.CPU offload
4.BF 16 和 FP 16
5.在 DDP 多卡训练 中，通常一个 epoch 的定义是：所有 GPU 协同遍历一次完整数据集，且每个样本在该 epoch 内只被采样一次。但在实际训练中，我们往往是 按 step 数控制训练与保存 checkpoint 的，比如每 5000 step 保存一次模型，这样 checkpoint 很可能落在 某个 epoch 的中间。在恢复训练时，我们一般可以恢复 model optimizer lr step，但 DataLoader / Sampler 本身是无状态的，不会自动恢复到 epoch 中间的位置。在从一个 epoch 中间的 checkpoint 恢复训练时，有没有办法保证数据采样能够“无缝衔接”，继续完成当前 epoch，而不是重新打乱或重复采样数据？
6.当 checkpoint 保存发生在 epoch 中间时，Trainer 是否能正确恢复 DataLoader 的采样状态？如果不能，工程上通常如何保证 resume 后的数据连续性？你是怎么实现的，是否用了 Accelerate或者huggingface 的Trainer
7.DDP中当同时涉及 DataLoader 和 Sampler 时，shuffle 应该由哪一层来负责？
8.PyTorch 的 DistributedSampler 内部是如何根据 num_replicas 和 rank 生成每个进程各自的数据 index 列表的？它如何在不进行进程间通信的前提下，确保多进程训练时样本划分互不重叠且覆盖完整数据集？
9.GQA
10.RMSNorm和LN
11.在实际训练系统中，从吞吐量和资源利用的角度考虑，tokenization 更合理的放置位置是在 Dataset/DataLoader 阶段，还是作为模型 forward 前的一部分？
12.手撕省份数量
ps：面试官水平很高，解答很耐心，一次非常好的面试体验#找实习 #面试日常 #星海图#具身智能#大模型
蔚来一面：
1.DDP用的几张卡
2.LoRA原理
3.手撕GRPO
4.手撕MHA
5.手撕Softmax
6.跳跃游戏 IV
1.手撕三数之和
2.手撕零钱兑换
3.DPO是用来干什么的，原理是什么？
4.DPO的loss是怎么计算的？
5.PPO中reward模型打分之后如何对不同样本进行排序？（Elo）
6.用了几张卡跑的？
7.用了什么显存优化的技术？
8.zero1，2，3的原理？
9.项目是如何进行Data Parallel的？
#找实习 #面试技巧 #面经#北京大学#wxg腾讯 #大模型
测测多模态一面
1.打开Github，看一下profile
2.三个阶段你分别用了什么数据
3.你在测试集跑的结果如何
4.看过Magpie的论文吗，里面有很多关于数据清洗的东西
5.PPO，DPO，GRPO你最偏好用哪个
6.GRPO有什么缺陷和可以改进的地方
7.了解线形注意力吗
8.讲一下你最近看的一个最新的技术
9.讲一下deepseek-R1中令你感觉最惊艳的地方
10.LLaVA系列的演进过程
11.在数据清洗领域你有什么想法和见解
#找实习 #面试技巧 #测测#面经 #北京大学
字节多模态二面面经
1.llava1.6的改进
2.qwen23vl的改进
3.手撕MHA
4.DPO与PPO的区别
5.GRPO如何计算相对R
6.GRPO为什么要对重要性ratio进行clip
7.为什么要除以根号Dk
8.为什么注意力操作是qkv三个向量
9.一般通过什么方式进行知识的学习
10.看过什么技术报告
11.说下最近在学的你最感兴趣的技术
#找实习 #面经 #北京大学 #字节
淘天agent一面
1h50min
自我介绍
拷打项目，追问项目细节
第一个项目
agent项目中做了什么
怎么设计的agent循环执行
是spring ai框架内的还是prompt控制输出
system prompt怎么设计的
调用llm的全过程
tool什么时候发给llm，什么时候执行
返回结果怎么知道需要调用哪个tool
记忆压缩方式，怎么生成摘要
千问的上下文窗口大小
rag从上传文档到检索的全过程
怎么评估检索的效果，有什么指标，分别是什么含义
文档怎么切分的，使用的什么工具
第二个项目
实现细节，负责的内容，假设场景题如何解决
主要是并发和集群部署的时候具体功能怎么处理的
以及集群情况下会面临的问题
八股
线程池的参数
假设一些参数求正在运行的线程数
假设io密集型占用90%，一个四核的机器应该给核心线程数怎么配置
mysql结合项目的表字段举例怎么查询更优
刚才的那个select查询的时候会加锁吗
第三个项目秒杀
防止超卖
一人一单
有没有设计退单的情况
数据一致性如何保证
ai coding 实现一个高并发场景下发放优惠券模板，购买优惠券，下单优惠券，容错处理的一个服务，跟秒杀差不太多，看着coding的代码问问题，询问ai的处理逻辑是否正确，存在什么问题，如何修改等
暂时就记得这些了
阿里淘天lm算法日常实习一面
3.19
minimind数据集怎么来的？预训练数据集是
什么形式的？为什么这样设计？
项目指标提升多少？
了解glora吗？
dpo和grpo区别？项目指标上又有什么区别？
数据上呢？
为什么要做强化学习？为什么不能直接把想
要的直接加sft里面从而不用rl
moe介绍？架构？
多模态模型了解过吗？
了解dapo吗？
手撕moe,根本不会，换了一个手撕lora,
也不会
美的ai研究院：
预训练数据集是什么？规模有多大？数据清洗和tokenization怎么弄的？
Batch size训练长度，梯度累计怎么设定？
这个框架的位置编码？
训练过程损失函数怎么下降？有没有遇到梯度消失和梯度爆炸这种问题？
除了大模型有没有做过其他训练？看你本科也不是做的这个，有没有深度学习方面的训练？
Lora是自己搭的吗还是用的开源模型框架？Lora从0实现是指什么？
介绍一下dpo算法，dpo这里训练数据怎么来的？Dpo训练框架？
St模型和dpo之后模型的对比？Dpo和st顺序？
Dpo训练过程中是否有不稳定？损失函数怎么表现？
有没有特定测试集去对比do之后比st好？以及为什么
第二个项目数据怎么来的？给我一个例子，user assitent是啥，怎么组织多轮对话的历史以
及损失怎么计算？怎么控制多轮对话轮次？
数据生成过程中遇见噪声怎么清洗过滤低质量数据？
美团风控大模型算法一面：
是否有其他offer?
预训练的数据集怎么来的？
为什么现在主流都用decoder-only
dpo相当于ppo的区别和优势
预训练和后训练具体有哪些区别，做这个学
会了什么
第二个项目的数据集怎么来的？为啥想做这
个
玩过openclaw吗？
手撕快排
美团一面凉经（大模型应用）
今天以一场酣畅淋漓的面试开启暑期实习流程
感觉面试官是非常资深的工程师，问的很深，虽然我是废物，但感觉从这场面试中还是学到了很多，感觉自己还有很多需要学习，还有很多需要提升（路漫漫啊）
为了积累福报，决定每次面试之后总结一下面试问题，一方面方便回顾，同时也给大家分享一些面试问题吧（毕竟平时都是在小红书上白嫖别人的），也希望各位大佬能给出些建议也欢迎大家在评论区分享问题，或者对我列出的面试问题进行回答
1.上来也是标志性的自我介绍流程，然后就是对项目的疯狂拷打环节
2.lora作用在q,k和作用在FFN上有什么差异
3.FFN是干嘛的？
4.大模型不同层存什么信息？
5.讲讲lora，什么时候考虑用lora，什么时候用全量参数微调？
6.lora和全量参数微调学习率的对比
🌟7.因为我的项目是电商客服助手的微调，所以面试官问了模型训练好以后如何评价模型好坏（感觉我回答的不是很全面，真心求教各位大佬，希望能给我详细的解答）
8.怎么找到badcase，怎么找到原因，怎么确定是哪个原因导致的badcase？
🌟9.DPO怎么判断模型有没有训练好？看什么东西？怎么证明模型有区分度？DPO结束后用什么指标评估（真心求教，希望大佬们解答）
10.推理加速你都了解哪些？
11.讲一下智能体React 和Reflection范式的区别
12.长期记忆和短期记忆是什么？怎么设置
13.了解上下文管理吗？
🌟14.怎么根据模型输出优化提示词？怎么评估提示词的好坏？写提示词的本质是什么？从数学的角度讲一下提示词是怎么改变模型输出的？（真心求教，求各位大佬解答）
15.最后是一个AI coding，写一个整理工作周报自动发送到老板邮箱的系统，要求分成至少5个子任务，指出那些需要人工参与，那些是全自动的，还有就是如果用户这周没有记录，该怎么处理这种异常？
以上就是全部内容了，一共面了70分钟感觉有一点死了
小米-多模态大模型算法实习一面
🔹手撕
顺时针旋转矩阵，转置+逐行反转
🔹项目拷打+八股
数据来源，怎么组织数据集，prompt和回答是什么。选择的基座模型是什么，有没有对比其他的。
qwen3.5的原生多模态和前作的多模态有什么不一样。
基座模型中的instruct与非instruct有什么区别。
qwen3vl的编码形式是什么，RoPE是怎么做的，MRoPE有什么不同，如何描绘相对距离。
GRPO怎么做的，在哪个环节中使用的，训练用了多少数据，有没有过拟合。GRPO耗时长的原因是什么。详细介绍一下GRPO是怎么做的。
模型原生能力下降的问题有解决吗，有什么解决办法。
了解RAG吗，流程是怎么样的。有没有单独评测过RAG的文本召回效果。如果让你设计一个RAG评测方案，你打算怎么做。
🔹反问环节
组里大概做什么业务。面试官大概介绍了一下小米汽车和小米工厂的业务，还有一些预研的基座模型开发。
总体问的比较基础，都是围绕项目和业务背景顺带问一些八股。就是我这个笨嘴还得多练练
字节（剪映）多模态大模型日常实习面经
3.16 一面
3.18 二面（挂）
一面：
项目拷打
ppo和grpo区别，为什么不用grpo，dpo损失函数。
FSDP和DDP区别，对哪些做分片；Megatron以及其并行策略。
kv cache原理，vllm两个优化。
awq和gptq。
lora调参，位置编码，oom怎么办，activation checkpointing原理。
Qwen3-VL改进，目前多模态大模型一般架构。
一些cv基础问题。
手撕：最大四连通域（岛屿最大面积）
二面：
项目拷打，每个问题都很深很细节，问到你不会为止，答的我汗流浃背。穿插一些八股：
attention怎么算？QKV和softmax公式；为什么要除根号d？除d行不行？
grpo不同模型架构上训练的差异（dense和moe）。
ppo的value model怎么做的？和actor model输出区别。
手撕ppo，grpo公式，两者核心区别，advantage怎么算，kl怎么加。
最后一些数据提纯和视频生成的场景题。
首面字节，感觉面完人都通透了，还是太菜了，下去沉淀一下
拼多多大模型一面
让ai总结了一下录音的内容
1.Pretrain 和 SFT 分别解决什么问题？
2.Transformer 的基本结构怎么理解？
3.多模态模型的大致结构是什么？最容易踩坑的点通常在哪里？
4.SFT 数据如何更贴近业务：如何避免过度模板化？如何做基础的 train / test 去重来避免评测失真？
5.对齐（ RLHF / DPO 等）整体思路是什么：为什么需要偏好对／奖励信号？
6.玩过 Openclaw 吗？了解其的记忆机制吗？
7.如果检索返回了很多相关的内容，如何选择最相关的？
8.了解 embeding 吗？
9.了解过 spec-drivening 的 code agent 吗？
10.了解上下文压缩机制吗？
11.为什么压缩前 70%？最开始的几轮对话明确需求不是很重要吗？
小红书基座大模型后训练面经
跟面试官聊得很开心，给我出的手撕很简单。
xhs的面试官是唯一不是小同行还能在短短几分钟内理解我的论文的人，强得可怕。
由于大部分时间在讨论论文，所以没怎么问八股。
一面
讨论论文
在有多约束最大化问题上，如何通过reward的改进来让模型知道约束的存在
有没有多机多卡训练经验
介绍一下GRPO是怎么做的，好在哪里，差在哪里，原因是什么?
了不了解GRPO的一些改进算法
讲讲DAPO做了什么改进，为什么要这么改进？
有用过什么大模型训练框架吗？讲讲llama factory中的dataset_info
代码：全排列
二面
讨论论文，要求讲解论文在做一个什么样的问题，别人的工作怎么做的，不好在哪，你的工作是如何解决的
大模型训练中会有dropout吗？为什么
有没有多机多卡训练经验
有没有做过一些大模型的sft和rl的工作
注意力机制的公式
为什么注意力机制要除以d_k
了解我们部门是做什么的吗？希望来做什么样的工作
代码：写一个多头注意力
小红书智能客服大模型一面面经
1. 详细拷打实习经历
2. PPO类算法对比
3. 为什么用decoder-only
4. 为什么kv-cache只能用在decoder-only模型上
5. 目前大模型架构用pre-norm还是post-norm，为什么
6. 介绍lora，lora AB矩阵如何初始化，如果AB都高斯初始化可以么，分析一下
手撕：打家劫舍（强制python）
抖音电商-多模态大模型暑期面经
除去hr面，总共其实算面了四轮，中途转了部门，记录下面筋积攒点好运，祝大家都有不错的offer。
主包bg：
劣势面：
双非本 双9硕博 非科班
优势面：
国内外算法竞赛10多场冠军🏆
kaggle 双金
两年算法工程师和1年研究型实习生
由于非科班 论文产出发表的多篇文章都是学科内的Q1，还有一堆专利，对互联网来说没有加成。
所以也是希望通过实习，学习业务同时产出a会论文自救。
抖音电商多模态大模型1面
自我介绍2分钟
项目介绍穿插提问35分钟
手撕15分钟：给定一个数n如23934，一串
个位数集合{1,4,9}，用集合中的数返回
不高于n的最大的数。（贪心+回溯)
开放性问题：
为什么现在LLM都是decoder:结构？回答了
统一下游任务。面试官说从这是结构的角度，
从功能和能力来说呢？
真实业务场景题：抖音电商的视频数据中推荐
的商品，如何在海量商品库中找到？
如何从视频中找到正在推荐的商品？如何从商
品库中找到正确的物品。
总共面了差不多有1小时15分钟，全程几乎没
有八股。第二天说通过了。
二面
面试官稍微迟到几分钟，然后进来就说我那边
有杂音电流声。我觉得可能是耳机的问题（一
面的面试官没反应这个问题)后面调整了一会
直接用电脑的原声外放了。
之后就是自我介绍，介绍项目，面试官过程中
打了好几个哈欠（这里我就有预感不妙了）
中途还问为什么工作后又去读博
最后是打算去工业界还是学术界，一些与技术
项目无关的问题。
整个二面体验不是很好，一部分也是自己当时
网络不太好只面了30分钟。面试官还迟到一
会，面试中途打了几次哈欠，明显是不感兴
趣，最后项目还没说完，就说感觉网络太卡
啦，今天就先面到这里。手撕也没，草草结束
啦。第二天直接挂心
广告商业化安全-多模态大模型
hr转到另一个部门面，说这个业务方向更契合
1面
面试官首先介绍了部门2mins
自我介绍3mins
项目拷打穿插一些提问和八股25mins
qwen3vl中对于图像做了哪些处理？（其中
动态组batch平衡token这点没回答面试官
补充了下)
f1-score auc一些常见指标有哪些还有解释。
交
cross attention中，最终长度是由谁决定的
lora和我项目中使用的svd分解正交子空间微
调有什么不一样？为什么选择这个方式
强化学习算法有了解吗，ppo dpo grpo dapo
gSpo,我提了下，面试官说时间不够了就没
让吟唱了
手撕平方数和15mins
最后聊了下业务大概20mins
总共1h15mins左右
总体来说，只要项目工作量够，够详细，面试
官感兴趣，就不会太多八股、基本上也能根据
项目准备。另外面试官如果想要你过，手撕
真的不会太难。
2面
自我介绍
项目拷打（这里拷打难度比前面都要难，基本
上每说一句就会题几个问题穿插八股)
20mins
dinov,3和clip的对比和区别
vt的改进有哪些
swin transformer的滑动窗口是怎么构造的
(这个我自己给自己挖坑了.…没讲清楚)
ppo和grpo的区别？clip是一样的吗？
为什么用gspo?
整改项目遇到哪些问题和案例，具体是如何处
理的？针对agc生成的图片如何增强第二阶
段的效果，做了哪些措施？
手撕：大数乘积（14mins)
提问交流环节（10mins)
总共面试时长大慨50mins不到，比之前短但
问题密集度高，leader面感觉压力要大一些，
面试官全程很严肃，压力下对自己的回答不太
自信了。
后面hr告知通过准备hr面
拼多多一面凉经（算法）
今天下午以一场拼多多面试结束了本周的四场面试，累die了，目前颗粒无收（我还是太菜了）不过今天的面试官人很不错，问问题的时候感觉像是在和你一起探讨，没有高高在上的感觉，狠狠点赞
1.上来面试官先是介绍了本场面试流程以及时间，然后就是经典自我介绍环节
2.问我项目里为什么选择DPO
3.强化学习和监督微调有什么不同
4.讲讲DPO算法，beta 的作用是什么
5.你看了这么多强化学习的算法，有什么心得？强化学习是怎么从最开始演变到现在的？
6.讲讲word2vec算法，为什么向量空间中比较接近的token在语义上也是相近的？
7.手撕了一个0/1背包的题
面试一共40分钟多点，手撕的可能有点慢了，最后输出少一个结果，一直在找原因不过面试官没上压力，反而一直在引导真的要给这个面试官点个赞
转眼间已经要到四月中旬了，连二面都没进过，这个进度还能找到实习吗真的有点慌了希望下周能有好运降临
找实习日记4.3|字节面试凉经
字节面试凉经｜手撕代码又寄了😭
下面奉上新鲜出炉的面试真题 + 我的复盘。
1️⃣ 项目经历（被疯狂深挖）
整体背景、我做了什么、为什么这么做、最终结果如何？
2️⃣ Transformer架构原理逻辑
必考！Self-Attention、QKV、Multi-Head、FFN、位置编码…
3️⃣ Transformer超参数怎么设？为什么？优化思路？
学习率、batch size、warmup steps…
为什么用AdamW？为什么warmup？
👉 我只说了常用值，没说出调参逻辑和优化方向，直接扣分❌
4️⃣ 残差连接 & LayerNorm
为什么用残差？解决梯度消失/退化问题
LayerNorm为什么比BatchNorm更适合Transformer？作用是什么？
5️⃣ 设计Transformer时的维度、头数、层数怎么定？
维度：一般是512/768，看算力与数据量
注意力头数：8/12/16，头数太多反而效果下降
层数：6/12/24，层数越深越难训
👉 面试官追问“有没有做过实验对比”，我直接沉默…😶
6️⃣ 分类算法 & 损失函数
逻辑回归、SVM、决策树、随机森林、XGBoost、MLP…原理 + 适用场景。损失函数：交叉熵（分类）、Hinge（SVM）、指数损失（Adaboost）
7️⃣ CNN整体逻辑原理
卷积核、感受野、权值共享、池化、全连接
8️⃣ 手撕代码：链表（ACM模式）
题目不难，但我又寄了……😭。LeetCode Hot100刷了快两遍，但一到ACM模式输入输出就卡壳
👉 我的代码能力真的弱，继续刷吧，没有捷径，AI用多了，此前没参加过算法竞赛。
整体感受：岗位偏搜推，面试官明显更感兴趣的是ML/DL底层原理，我准备的优化决策一个没问，简历不匹配就是硬伤。
✅ 后续计划
LeetCode继续刷，重点ACM模式 + 链表/树/DP
八股文细化：Transformer、CNN、分类/回归、损失函数等
项目复盘：每个项目用STAR讲清楚，准备“为什么这么做”“有没有对比实验”
继续面：后续还有阿里一面、美团一面！京东已挂，不慌，等待捞。今天的字节估计也会被捞，因为投递了更合适的，今天这个可能不太符合自己。
总结：面试挂不可怕，可怕的是不知道自己哪里弱。
今天虽然凉了，但也让我看清了自己的短板：代码能力 + 八股深度。继续卷吧，总有一天能拿到满意的offer。
百度多模态大模型暑期二面面经
流程：项目拷打+八股+手撕
八股：
1.sft grpo dpo损失函数
2.rope原理，在多模态是怎么样的
3.输入图片和文本后，模型是做了什么处理
4.grpo dapo的原理
5.grpo可以用别的模型采样吗
6.dpo和grpo区别
代码：有m个苹果，n个人排队来买，每个人只能买一个或两个，最终卖光，购买苹果有几种可能。方法很多，可以调库也可以递归，也可以写公式，写出来了没回答上最好的方法
撤回我之前的诋毁，已老实，求放过，二面被拷打了完整一个小时，问了一些多模态的问题，自己没做过多模态答不上来。
阿里-大模型一面
1、都知道哪些vllm的优化技术？
2、在现有模型的基础上，由于算力问题，如何利用大模型来蒸馏一个3B的模型？
3、logistic回归的模型原理和loss。
4、给定一个时间序列，如何通过机器学习的方法进行建模筛选出来重要的特征，然后基于规则方法进行建模
5、DeepSeek-MTP是用在训练阶段还是推理阶段的，具体过程是怎样的？
6、在现有大模型的基础上，如何通过agent的相关方法，训练一个coder模型，撰写金融领域相关模型的代码。
来自uu投稿
百度暑期多模态算法一面面经
1.自我介绍。这次比上次介绍多了很久，主要把自己的项目都说了一下，虽然磕磕绊绊但是面试官人很好没有打断。
2.项目拷打，数据集怎么构造的，如何评测数据集，因为项目微调的是qwen2.5omni，问了omni的架构，问了talker输出的是什么，因为聊到了qwen-tts-tokenizer，问了qwen3开源的tts中两种tokenizer的区别，问了还了解哪些其他的模型，问了step audio2，kimi audio，但是都不记得了所以只能说不清楚，问了llm as judge是如何使用的。
3.八股，dpo和ppo等比起来有什么优势和劣势。端到端的s2s和三段式相比有哪些优缺点，日常有用过豆包吗？感觉有什么优缺点。
5，大模型微调和agent方向怎么选择，想继续做哪个，有什么规划。
6.反问，组里的业务有哪些
无手撕
总结:半小时速通的纯聊天局，氛围很轻松，也没有手撕，面试官人很好，项目还得再准备一下，不过可能因为是agent项目不match全程没提到，还得多看看技术报告（）学不完根本学不完，等通知了。
近期大模型岗位面经总结
第一篇：RL对齐和SFT与预训练
距离4月底还剩半个月，分享一下最近的工作进度，导来活了，周末一下子打开16G的文件直接石化我了还是得多向上管理，活不能干太好，不会干的直接不干，能干好得尽量别干好
🐻厂工作内容：每天几乎都是dirty work，已经将工作内容转化为简历内容，尽量不要只关注自己的工作内容，带教的okr就是你的okr，带教干的事就是你干的事
力扣：已3刷，但是每次刷完还是忘记，现在保持一天1-2题的内容，考前看看思路即可，但最近一个月的面经看下来，很多大厂实习不太关注代码能力，更多关注ai coding
项目：最近可以做一下harness，主要还是吃老本，刷面经
这两天开始找下一家厂，下周约了3家小厂找找感觉，距离面试还有几天，我先在p8上刷了同岗大厂的笔面试真题，以及搜小厂名字，能看到很多真实分享贴，了解具体面经和进度，争取都能通过
OPPO AI中心 暑期实习面经
核心题目：
1. 模型字数不遵循问题（二面）— Prompt约束+encode/prefix injection+后处理截断，RLHF强化约束
2. KV Cache原理（二面）— 缓存K/V避免重计算，省去Q·K^T和softmax再次计算；Q是当前token专属，缓存复用率低
3. 为什么不做QK Cache（二面）— Q随每次生成变化，历史Q无法复用，存储开销大但收益低
4. GSPo vs GRPO区别（二面）— GRPO组内相对优势；GSPO针对MoE稀疏结构优化专家间负载均衡
5. 为什么GSPO适合MoE不适合Dense（二面）— MoE稀疏激活，GSPO处理梯度爆炸；Dense全参数激活，优势不明显
6. Deep Research第一步任务拆解怎么实现（二面）— CoT思维链/Prompt Engineering/专用Planner模型
7. Reward Hacking是什么及解决方案（二面）— 模型利用奖励漏洞，引入KL散度惩罚+对抗训练+规则奖励兜底
答题技巧：
- OPPO二面场景题极深，每题都伴随追问，需对LLM推理优化和RL对齐有实战理解
- KV Cache类问题须能现场推导计算量和显存占用
- GSPO/GRPO类问题建议结合MoE架构特点回答（负载均衡、稀疏梯度）
2026小鹏汽车—
多模态大模型算法
实习生面经
面试流程
1.自我介绍
2.问题1：你这边做图像生成比较多，为什么选
择投递多模态大模型算法呢？
3.问题2：你对VLM有了解吗？
4.问题3：可以讲一下DPO和GRPO吗(
简历
上面有写熟悉这两个后训练方法)？
5.手撕代码：多头自注意力机制
百度一面凉经（大模型训推）
昨天中午也是不出意外的收到了字节的感谢信，宣告着一面失败然后昨天下午又面了百度，目前体验最差的一场面试，从开始就上压力，整个过程感觉面试官就是一副完全瞧不起我的状态（虽然我确实很菜，但是这种体感真的很令人难受）（仅针对我这场面试，我的亲身体验而言，不上升到整个公司）
1.刚开始面试，面试官就说本场面试只有30分钟，让我回答的时候要快，简短，突出自己优势
2.上来自我介绍，我在介绍的时候，准备了一份简历，然后是对着简历上项目介绍的部分，简单提取了一些内容来汇报，可能介绍的时候比较流畅，没有过多卡顿（但我不觉得这有什么问题啊），然后面试官就说：你是不是准备了一份讲稿啊，我感觉你是在读什么东西。我说我是对着简历上的内容说的，不是讲稿，就是简单提取简历上的内容说的。然后他就一直说我说的太流畅了，像是在读东西。（不是，我请问，自我介绍很熟练难道有什么问题吗？）
3.然后就是项目拷打，先让我介绍了整个项目流程
4.问我用的什么分布式训练方法，然后让我介绍DDP
5.介绍vLLM，我把我知道的关键的内容都说了（解决kv cache浪费，page attention，按需分配kv cache内存，按block分配，减少碎片大小，使用虚拟内存，sharing kv blocks）我知道的我全说了他一直问，还有呢？还有呢？还有呢？然后又问了一堆我真没听说过的词（我承认我是菜狗，我真不知道了）然后问我看没看过vllm源码，给他讲讲，我真没看过我下去一定好好看看行了吧
6.了解deepseek吗？讲讲deepseek moe，优点和缺点是什么？（依旧是我把我知道的全说了，然后还是一直问还有呢？还有呢？还有呢？不是，虽然我真不知道还有什么了，因为我太菜了，但是这东西真全讲出来，半小时您听的完吗？？？）
7.讲讲MLA
8.pytorch 的自动微分是怎么实现的
9.最气的一点，面试官一直质疑我的项目是不是自己做的，一直怀疑我，哪怕我给他讲了我实际训练遇到的问题，如何解决的，对比试验的数据我也给他说了，他依旧怀疑我。我承认我这项目很简单，很玩具，网上一找一大堆，但是我没做过的东西我真不敢写啊，连最起码的信任都没有吗
面试问题汇总
1. LoRA 微调原理：微调哪些层？常用训练参数设置：epoch、learning_rate 等。
2. RAG 切片实现方法：如何设计和优化切片过程？
3. 微调中的常见问题与解决方案：面试官特别关注实际踩过的坑和解决思路。
4. Embedding 召回优化策略：如何提高召回效果和模型效率？
5. 复读问题分析：原生模型复读不严重，微调后却复读明显，原因何在？感觉最近的模型不咋重复啊。
6. 领域知识注入：LoRA 微调能否有效注入领域知识？效果如何？
7. 大模型幻觉（Hallucination）解决方案：如何缓解模型幻觉问题，稳定输出？
8. 优化器考点：Loss 除以 10 和学习率除以 10 有什么区别？
9. Self-Attention 的线性变换 (QKV)：为什么要做 QKV 线性变换？起初真懵了，为什么，你说为什么？
10. 机器学习懂么？
11. Self-Attention 中的 Softmax：为什么需要 Softmax？
算法题挑战
题目： 给定两个字符串，比如 s1=acdk, s2=ckad，每次可以将 s1 中任意一个字母移到末尾，问最少移动次数使得 s1=s2。如果无法匹配，返回 -1。
#互联网大厂 #大模型 #算法 #实习 #春招
hr面挂。
流程时间比较长记得不太清了（）
一面主要问attention基础，mqa gqa mha mla，手撕了一个gqa。vllm和flash attention。简历的项目和实习。
二面主要问项目的具体实现，无手撕。flash attention v1到v2的具体改进，减少了哪些开销。cuda存储模型。写cuda的经验。
hr面问了之前的实习经历，遇到的问题怎么解决，工作的流程模式，实习工作选择的标准。
hr面两天后回到人才池猜测是不能立刻到岗或者被横向
#互联网大厂实习 #面经
自我介绍
介绍项目
项目拷打
1.千问 VIT 跟常见的 CLIP 的 ViT 在实现动态分辨率、支持视频训练上的区别是什么？
2.千问 VIT 为什么要用窗口注意力？除了窗口注意力，还有别的区别吗？
3.千问 VIT 是能支持动态分辨率的吗？它怎么做到的？
4.千问 VIT 和 CLIP 的 ViT 在具体模型结构上有什么区别？
5. CLIP 的 ViT 为什么必须 resize 固定尺寸？用动态的不行吗？
6. PPO 是怎么训练的？有哪些模块？
7.DPO 和 PPO 的区别呢？
8. DPO 相比于 PPO 有哪些模型？
9.GRPO 是怎么做的？
10. DPO 没有 Reward Model 为什么也能做偏好优化呢？
11.GRPO 的优势是什么？
12.Transformer 里常见的位置编码有哪些？
13. 绝对位置编码是怎么做的？
14. 绝对位置编码相比于旋转位置编码（ROPE）的缺点是什么？除了外推性还有别的吗？
15. 旋转位置编码（ROPE）是怎么做到相对距离的位置编码的？它的旋转是怎么做的？
16. RMS Norm 跟 Layer Norm 的区别是什么？
17. 为什么 RMS Norm 不用强制居中也能有比较好的效果？
手撕 pow
感觉面试官对项目不是很感兴趣，一直在拷打八股，也不算难。手撕挺简单可能是想要我但是我太菜写的有点问题最后没debug出来。感觉机会像水一样流走了。。。
ps面试官人很好#面经 #面试题 #虾皮 #算法 #日常实习
一、模型架构与选型
1. 请阐述Qwen-VL系列动态分辨率的核心实现原理。
2. Qwen2.5-VL相较于Qwen2-VL，在视觉模态层面有哪些关键改进。
3. 请梳理多模态模型的架构发展历程，并说明各阶段核心架构特征。
4. 请阐述Q-Former的训练阶段划分与核心设计思路。
5.多模态模型在图片理解任务中的效果评价指标与评测方法。
二、预训练与微调
1. 请说明自回归预训练的具体实现机制。
2. 请分析大模型预训练损失函数与监督微调损失函数的核心区别。
3. 请阐述LoRA技术的基本原理及其在大模型中的作用位置。
4. 请说明大模型中Embedding的设计思路与部署位置。
三、对齐与强化学习
1. 请分别阐述PPO、DPO、GRPO三种算法的原理，并说明三者核心差异。
2. 请说明PPO算法中优势函数的计算方法。
3. 请对比分析GRPO与PPO算法中优势函数的不同之处。
4. 请阐述广义优势估计GAE的基本原理。
四、多模态核心技术
1. 请阐述主流多模态大模型的整体结构设计思路。
2. 请说明多模态模型中视觉与语言特征对齐的核心技术方案。
因为是一个传统互联网的大模型岗位，准备得不是很好#算法 #大模型 #互联网大厂 #研究生 #面试题 #校招 #职场有路子 #面试开挂技巧已到账 @职场薯
京东貌似不分暑期和日常 但是转正率似乎还可以
去年九月份找日常实习的时候因为要做测评就放弃了
这次是从邮箱里翻出来之前的测评链接做完之后才被捞面试的[呃R][扶额R]
被捞的部门是京东科技
测评
行测题 语文题 图表题 图形题 性格测试
难度不大 但最好稍微刷两套行测练练手再去做
听说也会挂人 挂了就会冷却一年
一面
问的很偏底层 很深 八股含量极高
详细讲 Megatron、DeepSpeed 的底层原理、各自核心优势？
大模型分布式训练里张量并行、流水线并行怎么理解？
你做的agent业务，整体技术链路是什么？
模型预训练、微调阶段，框架代码你改过哪些模块？
训练超大模型、MoE 模型时，怎么保证训练效率？
大模型数据 packing 怎么做？解决什么问题？
你项目里 SFT 数据构建、清洗、筛选全流程是什么？
推理部署阶段，做过哪些性能优化？
分布式训练里通信、显存炸裂的问题怎么排查解决？
二面
你的模型优化后，线上效果提升怎么量化、怎么验证？
模糊、歧义 query 场景，你们是怎么兜底处理的？
意图分类是传统分类头，还是大模型生成式分类？
意图识别任务里，模型会不会输出 think 思考过程？
SFT 训练时有没有引入 think 链路？强化学习阶段有没有用到？
Function Call 场景下，system prompt 会做哪些特殊设计？
GSPO 相比 GRPO 有哪些优势与改进点？
意图识别这种常规分类任务，为什么还要上 GSPO 强化？SFT 解决不了吗？
强化学习用了多少条数据？数据怎么筛选、怎么定义边界？
强化数据是人工标注为主，还是模型自动筛选提纯？
Function Call 返回的工具内容，会不会参与 loss 计算？为什么？
MoE 模型训练框架，怎么提升吞吐与训练效率？
多条样本 packing 在 MoE 微调里有什么坑？怎么规避？
Memory 记忆模块怎么设计？数据怎么构造、怎么存储、怎么迭代？
当下业界 Function Call 最新前沿工作、创新方向你了解哪些？
选型4B 和 30B 小 / 大模型，业务选型依据是什么？各自优缺点？
字节tiktok
内容安全-mllm
一面
1.自我介绍
2.拷打实习（解决的问题、负责的工作、得到了
哪些成果)
3.介绍论文（为什么选这个课题、背景、动机、
方法、实验结果)
4.介绍下FlashAttention
5.FlashAttention的时间和空间复杂度
6.了解CLIP与BLIP吗，详细讲讲
7.讲讲LoRA原理和LoRA参数的设置
8.LoRA的低秩矩阵是添加在LLM的哪些模块
中，怎么添加上去
9.讲讲GRPO中出现的奖励坍塌现象，应该怎么
解决
10.手撕-leetcode33.搜索旋转排序矩阵（题目
改进：如果里面存在相同元素，需要找到第一
个出现的下标，应该怎么做)
11.反问：业务、转正情况、面试表现
二面
1.自我介绍
2.介绍论文
3.介绍实习
4.手撕-归并排序
三面
hr面，电话oc
理解-mllm
一面
1.自我介绍
2.实习介绍
3.Prompt中是怎么约束LLM生成JSON格式响
应的
4.讲讲DFT,它与SFT有哪些区别
5.为什么大模型会出现幻觉问题，有哪些方法能
够减缓（数据、模型、算法层面)
6.为什么大模型会出现过度自信问题，有哪些方
法能够减缓（数据、模型、算法层面)
7.对于GRPO中人设和逻辑一致性的奖励，如何
通过规则奖励验证，有哪些更好的奖励验证方
法
8.介绍下DPO和KTO,它们之间有哪些区别
为0或者都为1，会导致模型梯度无效更新，那
有什么方法可以解决这种情况吗（数据、模
型、奖励层面)
10.介绍论文
11.手撕部分-实现BatchNorm、LayerNorm以
及RMSNorm
二面
1.自我介绍
〈2.介绍论文
3.介绍项目
4.手撕-MHA实现
5.什么时候能来实习，能实习多久
6.有没有其他家offer,你会怎么选
7.反问-业务具体细节、工作时长等
三面
hr面，问实习和项目的一些技术点，自己的优缺
oc。不得不说，快手的hr面试都很懂技术。
整体感觉比其他面试的压力要大，很核心的提问
想要找 多模态/搜索 方面的暑期实习的小伙伴有问题可以私信哈，希望能够帮助大家
🌵手撕Hard：最小覆盖子串（此时已经上压力了）
🌵非简历类问题：
多模态大模型的视觉编码器是什么？详细的过程
视觉编码器和LLM如何连接？
Deepseek-VL的模型架构
padding是如何做的？左padding还是右padding？为什么？
多模态模型的位置编码（绝对位置编码、旋转位置编码、多模态位置编码），具体细节
面试项目问的很细，基本是在深挖项目，八股性质的问题问的很少，一定要把自己项目的每个细节都搞懂，为什么这么设计。
1. 请做一个简单的自我介绍。
2. 你做的 Agent 系统采用的是什么框架？
3. 系统的整体工作流 / 执行范式是如何设计的？
4. 多路召回后的粗排策略是什么？
5. 二阶段重排序（Rerank）是如何实现的？
6. 多模态特征（图文）是如何融合的？
7. 项目中使用了多大参数的模型？为什么这样选择？
8. SFT 的训练目标是什么？数据集如何构建？
9. VQA 数据的 Query 和 Answer 是如何生成的？
10. 工具调用的监督数据（GT）是如何获取的？
11. 数据生成后有没有做校验与过滤？怎么做的？
12. LoRA 微调的超参数（rank）如何选择？
13. 是否尝试过多种微调 / 强化学习方法？为什么选当前方案？
14. 奖励函数（Reward）是如何设计的？
15. 强化学习是优化端到端结果，还是优化单步决策？
16. 有没有遇到奖励作弊（Reward Hacking）？如何解决？
17. GRPO 的重要性采样的数学意义是什么？
18. KL 散度系数等超参数是如何调优的？
19. 多轮任务是否考虑端到端训练？如何设计？
20. 模型 / 系统效果如何评估？指标怎么计算？
21. 复杂查询 / 多意图查询如何做准确率评估？
22. 系统推理延迟（首 Token 延迟）大概多少？
23. 影响系统性能的主要因素有哪些？
24. 请写出 Attention 计算公式，并解释原理。
25. QK^T 为什么要除以根号 dk？
3.19
minimind数据集怎么来的？预训练数据集是
什么形式的？为什么这样设计？
项目指标提升多少？
了解glora吗？
dpo和grpo区别？项目指标上又有什么区别？
数据上呢？
为什么要做强化学习？为什么不能直接把想
要的直接加sft里面从而不用r
moe介绍？架构？
多模态模型了解过吗？
了解dapo吗？
手撕moe,根本不会，换了一个手撕lora,
也不会
自我介绍与转行动机深挖：
为什么转码/未来就业方向，随后面试官表达了对转专业算法基础的疑虑，切入到LLM八股考察
八股部分（问的不难但答得一般，面试之前没进行LLM八股的系统复习）：
1. Transformer QKV机制
2. Encoder/Decoder的结构，所处位置和差别，以及目前Decoder-only较为主流的原因
3. Embedder/Reranker区别
4. Openclaw相关
5. Tools/MCP/Skills
6. LangGraph/LangChain/DeepAgents
7. 如何区分长短记忆
...
项目/实习部分：
1. 项目记忆架构
2. Vibe coding陷入死循环时如何进行干预
3. 如何在有限的token资源/项目进度要求紧张的条件下，最大化个人/团队的开发效率，降低长耗时Debug的API成本（这个问题复盘时面试官想听到的是：将 AI 协作类比为多人开发，强调需通过可沉淀的 skills 来定位模块，并建立上下文丢失后的快速恢复机制 / 将项目沉淀为Wiki/Spec/长短期记忆强调多窗口协作时保证项目解耦。）
八股准备不太充分，反问复盘时面试官说技术基础/八股有待提高，但最后又对总体表现表达了肯定，不知道是好人卡还是瑕不掩瑜了hhhh，如果有二面会继续更
#OPPO #找实习 #算法实习 #AIAgent #转码 #Skills #攒人品
百度多模态算法二面过了，已约三面，有点纠结还要不要继续面…
二面整体大概 50min，前半段还是围绕项目聊，实习和论文都被问得挺细，会一直往下追问具体实现和一些设计细节。
后半段开始偏底层和八股，强度比一面高不少。
问了 attention、KV Cache、PagedAttention、Agent、图像生成模型这些，还问了一些偏工程化的问题，比如 tokenizer、Coding Agent、内部工具调用之类
整体感觉他们不像那种只看你会不会调包的，更关注你是不是真的理解底层，还有没有实际落地能力。
面完之后已经约了三面，不过我现在其实有点纠结…
因为目前已经准备去蚂蚁那边了，方向和业务我自己也挺喜欢，流程推进得也比较快。所以现在就在想，百度这边三面还有没有必要继续面下去（三面还是技术面，感觉百度八股偏多，二面有些就答得不是很完整，有点害怕尴尬）。
想问问大佬们，如果已经有一个整体比较满意的去向了，这种情况你们还会继续往后面嘛
#百度 #蚂蚁 #多模态 #大模型 #算法面经 #实习面经 #大模型算法#暑期实习
距离大家暑期实习、春招临近，也距离上一个版本过了一年了（得更新了），今天也分享下最新面试准备思路。
八股：简历没有东西的同学要重视八股（也是面试主要来源），目前来看 Bert这种老式八股基本不问了，所以要准备：
1. Transformers 结构（Encoder、Decoder、KV Cache 等概念）
2. PE 算法原理（YARN、ROPE 等）
3. MOE（注意各种路由选择算法等）
4. 多机多卡训练经验（Scaling Law、训 7B模型要多少卡、DeepSpeed等）
5. MOE 和 Agentic 的训练细节（比如 loss 的 mask 细节、多轮对话怎么处理）
6. RL 训练策略公式（GRPO、DAPO、GSPO、DPO、PPO，注意一下 GRPO 和 DPO 和 PPO 区别，几家大厂都问我相同问题了）
7. VIT 和对齐原理（多模态方向）
8. 模型参数命名（比如 MOE 什么 A22 的意思、Qwen 的 VL 和普通版本区别、think 和 instruct 的区别，细节一定要分清）
手撕：Encoder、PE、 交叉熵、 InfoceLoss（一般练 pytorch 版本即可，不放心自己还练一下 numpy 的版本）
技术报告（目测这两个就够了）：
1. Qwen3.5（和 3、2.5 的区别，做多模态朋友要看 VL 的区别）
2. KIMI k2.5
上面两个我觉得完全够了，主要上面两个特点是 Agentic 能力增强，完全足以应对热门场景： RL、Agentic，而且现在看来 Qwen3.5 的统一多模态绝对核心，上半年就有面试问我统一模型怎么设计了，后续面试多半会问，NLP的同学不用太看多模态部分，了解就行。
细节方向：
1. GUI Agent。不用说秋招绝对核心，连车企的开价都够了。
2. Deep Research。 现在热门度感觉一般，不过也还行。
3. 风控。 多模态方向重灾区，最好有论文。
4. 后训练。 RL 策略算法、Mid-training 数据工程师。
5. 游戏 AI。应用岗，偏开发和 Infra。
6. 搜推（不会不做评价(~_~💧)，看学历实习了）
7. aigc(论文)
反问问些什么：
1.每个人大概能用多少 gpu（一定要准备自己面试时候问数字，排队多久等等，根据这个看组内实力）。
2.作息（问hr）
3.组内大方向
4.新入职的实习生/正职一般干什么工作内容？
如果有实习。 目前我的经验来看，更多的是针对你上一轮实习的垂域来捞你，比如搜推就会更多被搜推部门捞。这一部分除了准备八股外更多注重项目了（达到了多少指标等等），这里不再赘述。
#oc #互联网大厂 #大模型 #校招 #深度学习 #面试求职 #算法 #春招 #ai #人工智能
浙公网安备 33010602011771号