摘要：第一部分介绍了GPT模型的基本结构，下面对于GPT的基本工作流程进行介绍： 基本机制 GPT-2 可以处理最长 1024 个单词的序列。每个单词都会和它的前续路径一起经过所有的解码器模块。 运行一个训练好的 GPT-2 模型，最简单的方法就是让它自己随机工作（生成无条件样本）。我们也可以给它一些限制 阅读全文

摘要：最近在做深度学习时，一边用cmd跑模型训练一边做别的事情，有的时候切到cmd发现程序突然停住了，随便按一个按键程序又会继续运行，在查了一些资料后找到了原因。 因为cmd默认开启了“快速编辑模式”。当“快速编辑模式”开启时，当你的鼠标不小心在界面上点击，就会自动进入编辑模式（可以看到界面上会出现一个表 阅读全文

摘要：近期GPT-3的热度在NLP领域很高，因此对于这个模型有了尝试的想法，目前GPT-3的模型和资源还不太多，因此先用GPT-2尝试一下训练模型和文本生成。 在实践之前，对于GPT模型的基本原理做了一定的了解，下面进行一些简单的介绍。 GPT模型是OPEN-AI构建的自然语言处理模型，其在文本生成上往往 阅读全文

摘要：近期在研究GPT-2模型时遇到一个问题，在github上下载了一个GPT-2的中文模型，在尝试时发现缺少torch库，于是回头去下载该库，结果出现以下错误 本来以为是缺少tools库导致的问题，因此去重新下载了tools库，发现问题没有解决，后来到pytorch官网上去找对应版本直接下载，问题得到解 阅读全文