2023年8月9日
安装VMware虚拟机 & 远程连接Linux系统
摘要： 1. VMware的安装 安装教程链接：VMware虚拟机安装Linux教程(超详细)_vmware安装linux虚拟机_七维大脑的博客-CSDN博客 VMware各个版本的许可证密钥可以从网上找到： VMware 17密钥：MC60H-DWHD5-H80U9-6V85M-8280D 注意在完成安装 阅读全文
posted @ 2023-08-09 23:26 Peg_Wu 阅读(281) 评论(0) 推荐(0)
GAN
摘要： 1. Algorithm 2. Theory behind GAN 我们的目标是让生成器生成的数据的分布PG和实际的数据分布Pdata越接近越好，而衡量两个分布之间是否接近可以通过Divergence Function；Divergence Function的值越小，说明两个分布之间越接近；但是，如 阅读全文
posted @ 2023-08-09 14:57 Peg_Wu 阅读(85) 评论(0) 推荐(0)
2023年8月7日
HW4
摘要： 在构建Dataset的时候，可以将长的序列先截断，先不管短的序列: import os import json import torch import random from pathlib import Path from torch.utils.data import Dataset from 阅读全文
posted @ 2023-08-07 18:24 Peg_Wu 阅读(29) 评论(0) 推荐(0)
2023年8月6日
Lecture 5 -- 各式各样的Self-Attention
摘要： 1. How to make self-attention efficent? 当我们的输入序列非常长时，self-attention会主导整个网络的计算！ 方式一：Local Attention / Truncated Attention 方式二：Stride Attention 方式三：Glob 阅读全文
posted @ 2023-08-06 17:49 Peg_Wu 阅读(62) 评论(0) 推荐(0)
Lecture 5 -- Transformer
摘要： 1. Seq2seq Transformer是一种Seq2seq模型 2. Model Architecture A. Encoder B. Decoder (AT & NAT) 由于Decoder是一个一个vector输出的，因此self-attention转变为了masked self-atte 阅读全文
posted @ 2023-08-06 01:06 Peg_Wu 阅读(22) 评论(0) 推荐(0)
2023年8月5日
Lecture 5 -- Batch Normalization
摘要： 1. Batch Normalization的作用 Batch Normalization可以帮助使error surface不那么崎岖... 例如上图，x1的值比较小，当w1发生微小的变化时，损失L变化也会很小；而x2的值比较大，当w2发生微小的变化时，损失L变化会比较大； 这样就会造成error 阅读全文
posted @ 2023-08-05 21:09 Peg_Wu 阅读(35) 评论(0) 推荐(0)
HW3
摘要： 一种新的数据增强的方式mixup： 文件夹结构： food11: - training calss_num.jpg - validation class_num.jpg 数据增强： import torchvision.transforms as transforms # Normally, We 阅读全文
posted @ 2023-08-05 18:15 Peg_Wu 阅读(18) 评论(0) 推荐(0)
HW2
摘要： 一个用于节省内存的技巧：(构建Dataset后可将原始数据删除！训练和验证完成后可将训练集和验证集的DataLoader删除！) import gc from torch.utils.data import DataLoader, Dataset, random_split # preprocess 阅读全文
posted @ 2023-08-05 16:09 Peg_Wu 阅读(11) 评论(0) 推荐(0)
HW1
摘要： 固定随机数种子： def same_seed(seed): '''Fixes random number generator seeds for reproducibility.''' torch.backends.cudnn.deterministic = True torch.backends. 阅读全文
posted @ 2023-08-05 15:39 Peg_Wu 阅读(24) 评论(0) 推荐(0)
2023年8月4日
os模块
摘要： os.system("notepad.exe") # 打开记事本os.system("calc.exe") # 打开计算器os.startfile("./student.txt") # 打开当前文件夹下的student.txt文件 os.path.split() # 将目录与文件名进行拆分 os.w 阅读全文
posted @ 2023-08-04 20:59 Peg_Wu 阅读(11) 评论(0) 推荐(0)