红豆生南国 是很遥远的事情

摘要： 目录Dijkstra算法概念算法工作原理代码 参考：https://blog.csdn.net/u011426016/article/details/140895213 Dijkstra算法 Dijkstra算法是一种用于解决单源最短路径问题的贪婪算法。 它的主要目标是在一个有向或无向的、边权重为非 阅读全文

摘要： 目录A* 算法的核心思想A* 算法的三个关键公式举例：走迷宫总结代码实现 A* (A-Star) 算法是路径规划中非常经典、非常受欢迎的一种算法。对于初学者来说，我们可以把它想象成一个“聪明的寻路者”，它不像无头苍蝇一样乱撞，而是会有策略地寻找从起点到终点的最短路径。 A* 算法的核心思想 好的，没 阅读全文

摘要： 大型语言模型（LLM）聊天机器人（智能助手）具备长期记忆功能，是 AI 应用中一个非常重要的方向。本文档提供系统性的技术概述，重点介绍记忆管理架构、关键组件和核心功能，使聊天机器人能够记住用户信息、个人偏好和对话历史记录，从而为个人助理等应用程序提供更优质的服务。 业界进展 MEM0 旨在增强具有持 阅读全文

摘要： 目录Triton kernel — 存 KV cachePython 封装 — store_kvcacheattention Qwen3（或相似架构）中的 Attention 层实现，它结合了 Triton 自定义 kernel（KV cache 存储） 和 FlashAttention 库 来实现 阅读全文

摘要： 目录激活函数Qwen3MLP 激活函数 import torch from torch import nn import torch.nn.functional as F class SiluAndMul(nn.Module): def __init__(self): super().__init_ 阅读全文

摘要： 目录核心思想：零计算专家（Zero-Computation Experts, ZCE）二、MoE++ 架构详解ZCE 的选择策略为什么 ZCE 有效？总结：MoE++ (ZCE) 的价值 MoE++: Accelerating Mixture-of-Experts Methods with Zero 阅读全文

摘要： 目录主流 MoE 架构核心组件回顾-基础 MoE 结构负载均衡（Load Balancing Loss）专家并行（Expert Parallelism）层级化 MoE（Hierarchical MoE / H-MoE）动态稀疏模式（Dynamic Sparsity）残差连接与专家融合（Residua 阅读全文

摘要： oft： https://github.com/zqiu24/oft https://oft.wyliu.com/ Controlling Text-to-Image Diffusion by Orthogonal Finetuning https://arxiv.org/pdf/2306.0728 阅读全文

摘要： 目录参考LoRA (Low-Rank Adaptation)OFT (Orthogonal Finetuning)数学原理总结正交矩阵的特性核心特性与几何解释举例看这个图 参考 https://huggingface.co/docs/peft/en/conceptual_guides/oft?utm 阅读全文

摘要： 目录MX数据结构FP32、FP16 是如何表示一个浮点数据的？FP32 (单精度浮点数)FP16 (半精度浮点数)MX数据格式 参考：https://www.cnblogs.com/cavalier-chen/p/18591085 MX数据结构 https://arxiv.org/abs/2310. 阅读全文