我的随笔

llma里ROPE的精髓

bonelee 2025-10-22 19:14 阅读:0 评论:0 推荐:0

如何通俗理解ROPE？=》“旋转”能表达相对位置，数学的优雅在这里面体现得淋漓尽致

bonelee 2025-10-22 19:14 阅读:0 评论:0 推荐:0

跟着gpt5学习llama的技术演进——学到了rmsNorm和layerNorm差别，SwiGLU平滑过度，利于信息流正向流动，还有ROPE这种更优雅的相对位置编码

bonelee 2025-10-22 15:41 阅读:0 评论:0 推荐:0

跟着gpt5学习多模态大模型——核心是vit融合演进经过了clip（选答案）-blip（cross融合理解）-llava（直接融合大模型）

bonelee 2025-10-22 15:04 阅读:0 评论:0 推荐:0

大模型的能力涌现

bonelee 2025-10-21 10:52 阅读:2 评论:0 推荐:0

跟着GPT5学习预训练

bonelee 2025-10-21 10:23 阅读:0 评论:0 推荐:0

跟着GPT5学习bert分类中[CLS]标记 hidden state的作用

bonelee 2025-10-21 10:08 阅读:11 评论:0 推荐:0

通俗理解Lora微调

bonelee 2025-10-20 17:08 阅读:14 评论:0 推荐:0

大模型微调中的熵崩塌

bonelee 2025-10-14 15:08 阅读:28 评论:0 推荐:0

具身智能：业界的前沿公司汇总

bonelee 2025-09-28 20:24 阅读:92 评论:0 推荐:0