Orzjh's Blog

摘要： （更好的阅读体验参考小红书同名） Attention 1 Attention 介绍 为什么点积注意力要除以 ？ Attention的时间复杂度？ 2 Transformer中的Attention 2.1 Encoder和Decoder中的Self-Attention 2.2 Decoder中的Cro 阅读全文

摘要： （更好的阅读体验参考小红书同名） FFN, Residual Addition, LN 1 三个模块的作用 1.1 FFN（Feed Forward Network，前馈层） 为什么有了 Attention 还需要 FFN FFN 为什么先升维再降维 1.2 Add （Residual Connec 阅读全文

摘要： vibe coding实战指南：把“灵感式开发”变成可交付的软件工程 很多人把 vibe coding 理解成两件事： 想到哪写到哪。 让 AI 一次性吐出很多代码。 这种方式确实快，但往往只能快到“页面出现了”，很难快到“产品跑通了、结构稳定了、后面还能继续迭代”。 真正能落地的 vibe cod 阅读全文

摘要： OpenClaw 介绍介绍OpenClaw 是一款开源、自托管的个人 AI 助手平台。它通过在本地设备或自有服务器上部署网关，把 WhatsApp、Telegram、Discord、Web UI 等聊天入口接入 Claude、GPT、Gemini 等语言模型，使用户能够在熟悉的通信渠道中调用可执行任 阅读全文

摘要： 后训练 Post-Training 主要有两种范式：SFT和RL Pre-training (预训练) 通过海量无监督数据的自监督学习（Next Token Prediction），让模型习得语言语法与通用知识。 SFT (监督微调)：实现指令对齐 通过高质量问答对进行有监督学习，约束模型的输出空间 阅读全文

摘要： 大模型学习路线（二）：预训练 (Pre-training) 说明：预训练是大模型“拥有知识”的关键阶段。秋招面试考察重点集中在数据工程、训练稳定性（混合精度）、Tokenizer 细节以及领域适配（CPT）策略。 🎯 学习目标 掌握从数据清洗配比、Tokenizer 训练、混合精度训练技巧，到领域 阅读全文

摘要： 🎯 学习目标 彻底掌握 Transformer 的每一个组件细节，理解从 Standard Attention 到现代 LLM（如 Llama, Deepseek）架构的演进原因，并能手写核心算法代码。 第一阶段：输入处理 (Input Representation) 1. 分词 (Tokeniz 阅读全文

摘要： MLLM 综述A Survey on Multimodal Large Language Modelshttps://hjfy.top/arxiv/2306.13549TL;DR本文全面综述了多模态大语言模型（MLLM）的最新进展，重点探讨其如何以大模型为核心处理多模态任务。文章系统性地梳理了架构设 阅读全文

摘要： Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free https://hjfy.top/arxiv/2505.06708 TL; DR 这篇论文提出了一种 Gated A 阅读全文

摘要： 数据集 数据集概述 TencentGR_1k/是一个腾讯广告推荐系统的数据集，包含用户行为序列、物品特征、多模态嵌入等多种数据格式。该数据集主要用于推荐系统模型的训练和评估。 目录结构 TencentGR_1k/ ├── seq.jsonl # 用户行为序列数据 ├── item_feat_dict 阅读全文