ArdenWang

2022年3月22日

摘要：分类与回归问题可选用全连接神经网络建模。隐藏层一般用ReLU激活函数。训练网络时由简单->复杂，避免严重的过拟合。多分类中间节点数不能少于类别数输出层根据问题类型选择激活函数与loss Task Activate_function Loss_function 二分类 sigmoid binary 阅读全文

posted @ 2022-03-22 13:52 ArdenWang 阅读(126) 评论(0) 推荐(0)

Transformer的相关知识

摘要： Transformer为什么需要MHSA 将模型分为多个head，形成多个子空间，可以使模型关注到不同方面的信息，最终再综合各方面信息。多次attention综合的效果可以起到增强模型的作用，也可类比CNN中同时使用多个卷积核的作用。直观上讲，MHSA利于 capture more valuab 阅读全文

posted @ 2022-03-22 09:24 ArdenWang 阅读(105) 评论(0) 推荐(0)

2022年3月18日

TransformerEncoder中的语法

摘要： PositionalEncodeing class PositionalEncoding(nn.Module): def __init__(self, d_model: int, dropout: float = 0.1, max_len: int = 5000): super().__init__ 阅读全文

posted @ 2022-03-18 16:42 ArdenWang 阅读(230) 评论(0) 推荐(0)

Sims，Mosi, Mosei

posted @ 2022-03-18 09:51 ArdenWang 阅读(1502) 评论(0) 推荐(0)

2022年3月17日

nn.Parameter()

摘要：官方文档 CLASS torch.nn.parameter.Parameter(data=None, requires_grad=True) A kind of Tensor that is to be considered a module parameter. Parameters are Te 阅读全文

posted @ 2022-03-17 15:04 ArdenWang 阅读(705) 评论(0) 推荐(0)

torch.bmm(), torch.mul(), torch.matmul()

摘要： torch.mul(a, b) 点乘：对应位相乘，维度必须相等返回维度与 a, b 相同 torch.mm(a, b) 矩阵相乘如： a: [1, 2] b: [2, 3] output: [1, 3] torch.bmm(a, b) a, b必须是3D维度的，对两个向量维度有要求。 a: [p 阅读全文

posted @ 2022-03-17 14:03 ArdenWang 阅读(1938) 评论(0) 推荐(1)

torchtext

摘要： torchtext.legacy.data torchtext.legacy.data.Example : 用来表示一个样本，数据+标签 torchtext.legacy.vocab.Vocab: 词汇表相关 torchtext.legacy.data.Datasets: 数据集类，getitem 阅读全文

posted @ 2022-03-17 11:06 ArdenWang 阅读(481) 评论(0) 推荐(0)

判断数据是否在gpu

摘要： tensor.is_cuda True / False 阅读全文

posted @ 2022-03-17 10:42 ArdenWang 阅读(112) 评论(0) 推荐(0)

torch.manual_seed()

摘要：只要随机数种子N是不变的，那么只要np.random.seed(N)或者torch.manual_seed(N)被执行，那么产生随机数就是一样的。比如说在训练模型的程序中，只包含一次np.random.seed(N)和torch.manual_seed(N) 操作: 每次运行该程序文件的时候，由于阅读全文

posted @ 2022-03-17 08:05 ArdenWang 阅读(131) 评论(0) 推荐(1)

2022年3月16日

谷歌浏览器打不开本地htm

摘要：添加扩展程序： Axure RP Extension For Chrome 阅读全文

posted @ 2022-03-16 08:50 ArdenWang 阅读(70) 评论(0) 推荐(0)

公告