2026年1月31日
用 PyTorch 实现 LLM-JEPA：不预测 token，预测嵌入
摘要： 这篇文章从头实现 LLM-JEPA: Large Language Models Meet Joint Embedding Predictive Architectures。需要说明的是，这里写的是一个简洁的最小化训练脚本，目标是了解 JEPA 的本质：对同一文本创建两个视图，预测被遮蔽片段的嵌入， 阅读全文
posted @ 2026-01-31 21:36 deephub 阅读(0) 评论(0) 推荐(0)