allenovoCc

摘要： FP16 Online Softmax 误差传播与混合精度 在这里我们先简单介绍一下Online Softmax的意义： Online Softmax把传统Softmax的two-pass优化成一次扫描，两者时间复杂度都是\(O(n)\)，并且在只做Softmax的情况下，由于Online Soft 阅读全文

摘要： Roofline优化分析 这是techpowerup网站提供的一个H20显卡的参数信息，以便于后面进行Roofline分析用到 根据图片内容，我们能得知在H20在FP32下的峰值算力为44 TFLOPS，显存带宽为4000GB/s 我们先看一张经典图： 峰值算力和显存带宽交点所对应的那个点就是： \ 阅读全文

摘要： 最近参加oscamp，做完了专业阶段，发现对rcore代码仍不是很熟悉。 于是想把整个代码结构重新捋一遍，顺便提升一下rust编码能力ovo。 由于ch8的整个变动比较大，所以本次解读从ch7开始，解读完ch7的代码结构后，再看ch8的变化。 先从整体看起，从 bootloader RustSBI作 阅读全文