08 2020 档案

minGPT的GeLU换成RELU45+55=100了
摘要：https://github.com/karpathy/minGPT新手不会调参各种换着玩的。最近一直在学习这个项目，偶然把GELU换成ReLU，在play_math上得到了100%正确率。也许是因为GELU更适合NLP？不过，换了后，也不能叫GPT了。GPT中用的是GELU 阅读全文
posted @ 2020-08-23 00:38 地表最强队队员 阅读(432) 评论(0) 推荐(0)
pytorch1.3和1.4都无法正常查看transformer源码的折中办法
摘要：鼠标要选中源代的类，然后ctrl+n。 阅读全文
posted @ 2020-08-09 21:26 地表最强队队员 阅读(166) 评论(0) 推荐(0)