苑无违的博客

摘要： # 总览 你是否好奇 GitHub Copilot 如何知道你想写的内容？有时候它聪明得甚至好像读过你项目里其他文件一样，不要怀疑，它确实读过。这篇文章记录了我阅读一个对 Copilot 的[逆向工程](https://thakkarparth007.github.io/copilot-explor 阅读全文

摘要： 引言 我上两个月参加了一个中文文本智能校对大赛，拿了17名，虽然没什么奖金但好歹也是自己solo下来的比赛吧，期间也学到了一些BERT应用的新视角和新的预训练方法，感觉还挺有趣的，所以在这里记录一下这期间学到的知识，分享一下自己的比赛过程，方案在此处：https://github.com/qftie 阅读全文

摘要： 本节主要记录使用wandb记录训练曲线以及上传一些格式的数据将其展示在wandb中以便分析的方法，略过注册安装部分（可使用`pip intall wandb`安装，注册相关issue可上网搜索），文章着重于wandb的基本用法。 # 初始化 首先创建在wandb页面中中创建需要可视化的project 阅读全文

摘要： Intro 最近用vscode连接远程服务器在做attention可视化时遇到了一些困难，但偶然发现一个好用的插件可以在调试中显示实验中需要观察的图像。这个插件支持numpy pillow opencv-python matplotlib seaborn plotly imageio skimage 阅读全文

摘要： 本文介绍一些避免transformers的OOM以及训练等流程太漫长的方法，主要参考了kaggle notebook [Optimization approaches for Transformers | Kaggle](https://www.kaggle.com/code/vad13irt/op 阅读全文

摘要： Intro 对于同样的数值计算任务，使用numpy比直接编写python代码实现 优点： 代码更简洁： numpy直接以数组、矩阵为粒度计算并且支持大量的数学函数，而python需要用for循环从底层实现； 性能更高效： numpy的数组存储效率和输入输出计算性能，比python使用list好很多， 阅读全文

摘要： 模型定义常用函数 利用nn.Parameter()设计新的层 import torch from torch import nn class MyLinear(nn.Module): def __init__(self, in_features, out_features): super().__i 阅读全文

摘要： argparse是深度学习项目调参时常用的python标准库，使用argparse后，我们在命令行输入的参数就可以以这种形式python filename.py --lr 1e-4 --batch_size 32来完成对常见超参数的设置。，一般使用时可以归纳为以下三个步骤 使用步骤： 创建Argum 阅读全文

摘要： 衡量运行时间 很多时候你需要计算某段代码执行所需的时间，可以使用 time 模块来实现这个功能。 import time startTime = time.time() # write your code or functions calls endTime = time.time() totalT 阅读全文

摘要： tmux在连接远程服务器做实验时很有帮助，可以为每一个项目设置一个Session，在Session中设置不同的Window同时跑多个实验，Window本身还可以分割为多个Pane，在一个视野内利用多个Pane可以更方便地地做对比实验，或者一边实验同时能监视系统的显存占用，进程信息等状态。 tmux采 阅读全文