Rogn

摘要： 前言 没有我想象中的难，毕竟站在前人的肩膀上，但还是遇到许多小困难，甚至一度想放弃 用时：两整天（白天） 目的：训练一个transformer模型，输入[1,2,3,4]，能预测出[5,6,7,8] 最终效果：transformer model各层及维度符合预期，能train，predict还有一点 阅读全文

摘要： indexes转one-hot https://stackoverflow.com/questions/65424771/how-to-convert-one-hot-vector-to-label-index-and-back-in-pytorch https://pytorch.org/docs 阅读全文

摘要： ref: https://towardsdatascience.com/how-to-use-datasets-and-dataloader-in-pytorch-for-custom-text-data-270eed7f7c00 https://pytorch.org/tutorials/begi 阅读全文

摘要： 原文 https://rockt.github.io/2018/04/30/einsum 就是说有一种运算，叫做einsum，可以做各种矩阵和向量的运算，而且特别简洁和优美 自己跑一下里面的例子，就知道是怎么回事了， 这里记录一下其中的tensor contraction，算是最general的形式 阅读全文

摘要： 视频1 https://www.youtube.com/watch?v=1_gRK9EIQpc&ab_channel=Hung-yiLee 视频2 https://www.youtube.com/watch?v=gh0hewYkjgo&ab_channel=Hung-yiLee Bert论文链接 h 阅读全文

摘要： Hung-yi Lee李宏毅的课，没有废话，重难点都讲了，可以说是非常棒了 视频地址https://www.youtube.com/watch?v=ugWDIIOHtPA&ab_channel=Hung-yiLee 1. Seq2Seq采用RNN不能并行化，使用CNN代替RNN 例如CNN三角形选取 阅读全文

摘要： 如果之前使用的训练命令是 python train.py --device gpu --save_dir ./checkpoints 添加 -m paddle.distributed.launch 就能使用分布式训练，python -m paddle.distributed.launch train 阅读全文

摘要： 做题一时爽，补题... 2042. 检查句子中的数字是否递增 签到题 class Solution: mymax = -1 def areNumbersAscending(self, s: str) -> bool: x_list = s.split() for x in x_list: if x[ 阅读全文

摘要： 视频：https://www.bilibili.com/video/BV1Ly4y1L7aP 就是用google的一个gvisor项目去解决容器安全问题，它引进了user-kernel "感觉就是增加user-kernel层，但是这个user-kernel能跳过Linux kernel去管理网络和储 阅读全文

摘要： 安装 // 首先，创建一个虚拟环境 conda create -n my_paddle python=3.8 // 安装Paddle GPU版 // 没有加版本号会自动下载最新版 pip install paddlepaddle-gpu // 安装PaddleNLP pip install padd 阅读全文