2023年12月21日

llama的hf源码结构
摘要： 上一个博客我们看了rope. 那么llama的hidden_states就没啥难点了. 再整体把握一下hf里面llama的代码结构. 文件是:D:\Users\admin\miniconda3\Lib\site-packages\transformers\models\llama\modeling_ 阅读全文
posted @ 2023-12-21 23:00 张博的博客 阅读(107) 评论(0) 推荐(0)
llama的rope源码阅读
摘要： 关键代码的理解: class LlamaRMSNorm(nn.Module): def __init__(self, hidden_size, eps=1e-6): """ LlamaRMSNorm is equivalent to T5LayerNorm """ super().__init__( 阅读全文
posted @ 2023-12-21 17:30 张博的博客 阅读(125) 评论(0) 推荐(0)
乘法加法和代数计算如何算的快,准
摘要： 进位尽量用脑子来记忆, 因为每一次进位只保存一个即可.进位跟下一个加完之后就更新了.所以记忆不难, 多训练即可. 举一个例子: 135*87 首先写下 135 87 75=35.所以脑子记住进位3, 写下5. 然后37=21, 所以我们写上4, 脑子记住2. 1*7=7所以我们写下9就完事了. 少写 阅读全文
posted @ 2023-12-21 11:48 张博的博客 阅读(31) 评论(0) 推荐(0)

导航