会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
风生水起
善战者,求之于势,不责于人,故能择人而任势。
博客园
首页
新随笔
联系
订阅
管理
2024年7月20日
大模型如何学习知识?
摘要: How Do Large Language Models Acquire Factual Knowledge During Pretraining? 通常认为,LLM在预训练中学习知识。但是LLM对长尾知识的习得很差。有观点认为,Attention的qkv结构是对知识进行抽取(q*k计算attn_s
阅读全文
posted @ 2024-07-20 20:10 风生水起
阅读(82)
评论(0)
推荐(0)
编辑
预处理知识库文件
摘要: 预处理知识库文件
阅读全文
posted @ 2024-07-20 09:58 风生水起
阅读(28)
评论(0)
推荐(0)
编辑