allenovoCc

博客园 首页 新随笔 联系 订阅 管理

2026年5月24日 #

摘要: FP16 Online Softmax 误差传播与混合精度 在这里我们先简单介绍一下Online Softmax的意义: Online Softmax把传统Softmax的two-pass优化成一次扫描,两者时间复杂度都是\(O(n)\),并且在只做Softmax的情况下,由于Online Soft 阅读全文
posted @ 2026-05-24 23:52 allenovoCc 阅读(3) 评论(0) 推荐(0)

2026年5月19日 #

摘要: Roofline优化分析 这是techpowerup网站提供的一个H20显卡的参数信息,以便于后面进行Roofline分析用到 根据图片内容,我们能得知在H20在FP32下的峰值算力为44 TFLOPS,显存带宽为4000GB/s 我们先看一张经典图: 峰值算力和显存带宽交点所对应的那个点就是: \ 阅读全文
posted @ 2026-05-19 20:15 allenovoCc 阅读(9) 评论(0) 推荐(0)

2026年4月7日 #

摘要: 最近参加oscamp,做完了专业阶段,发现对rcore代码仍不是很熟悉。 于是想把整个代码结构重新捋一遍,顺便提升一下rust编码能力ovo。 由于ch8的整个变动比较大,所以本次解读从ch7开始,解读完ch7的代码结构后,再看ch8的变化。 先从整体看起,从 bootloader RustSBI作 阅读全文
posted @ 2026-04-07 16:55 allenovoCc 阅读(6) 评论(0) 推荐(0)