会员
众包
新闻
博问
AI培训
云市场
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
AI健康
帮助大家身心健康,效率自然提高,也就能不加班或少加班啦
博客园
首页
新随笔
联系
订阅
管理
2023年8月3日
能用延长时间来弥补算力不足去训练大模型吗? claude 和 chatGPT4的回复
摘要: 对,使用更多计算时间来弥补模型训练中的算力不足是可行的。主要有以下几点建议: 1. 适当减小batch size,这样每次迭代的计算量会减少,可以用更长的时间去迭代达到收敛。但是batch size不要设置过小,太小会使训练效率降低。 2. 适当减小模型参数量,例如减少隐层单元数、降低嵌入维度等,可
阅读全文
posted @ 2023-08-03 00:01 AI健康
阅读(50)
评论(0)
推荐(0)
编辑
公告