paitsai

摘要： 已将所有块级公式统一改为 $$ ... $$，行内公式统一改为 $ ... $，并保留上一轮对推理部分的详细扩充与整体润色。以下是修改后的完整文档： V-JEPA 2 完整技术文档 1. 概述 V-JEPA 2 是 Meta 提出的两阶段自监督世界模型。第一阶段在大规模视频上预训练 ViT 编码器， 阅读全文

摘要： MoE 分布式推理基础（基于 vLLM） 基于 allenai/OLMoE-1B-7B-0924（\(L=16\)、\(E=64\)、\(K=8\)、\(H=2048\)、\(I=1024\)、\(H_q=H_{kv}=16\)、\(d=128\)）。 本文档用 algorithm 风格伪代码 + 阅读全文