我的随笔

大模型--激活函数汇总--32

jack-chen666 2024-12-11 16:11 阅读:481 评论:0 推荐:0

大模型--ReLU激活函数--31

jack-chen666 2024-12-11 12:00 阅读:155 评论:0 推荐:0

大模型--数据类型FP16 BF16--29

jack-chen666 2024-12-06 16:39 阅读:958 评论:0 推荐:0

大模型--FlashAttention V2 原理--27

jack-chen666 2024-12-05 09:44 阅读:301 评论:0 推荐:0

大模型--模型量化GPTQ--24

jack-chen666 2024-11-27 09:40 阅读:563 评论:0 推荐:0

大模型--Megatron TP张量并行-15

jack-chen666 2024-11-13 18:14 阅读:1202 评论:0 推荐:0

大模型--训练加速之deepspeed demo-13

jack-chen666 2024-11-11 15:49 阅读:169 评论:0 推荐:0

大模型--训练加速之数据并行(DP, DDP与ZeRO)-上-11

jack-chen666 2024-11-08 17:55 阅读:667 评论:0 推荐:0

大模型--训练加速之流水线并行Pipeline Parallelism-10

jack-chen666 2024-11-08 11:33 阅读:526 评论:0 推荐:0

transformer-视觉-IPT 模型- 01

jack-chen666 2024-11-08 09:54 阅读:53 评论:0 推荐:0