西西嘛呦

2020年7月21日

摘要： from torch.optim import Adam from torch.utils.data import DataLoader from dataset.wiki_dataset import BERTDataset from models.bert_model import * impo 阅读全文

posted @ 2020-07-21 13:55 西西嘛呦阅读(763) 评论(0) 推荐(0)

bert加载数据代码

摘要： from torch.utils.data import Dataset import tqdm import json import torch import random import numpy as np from sklearn.utils import shuffle class BER 阅读全文

posted @ 2020-07-21 13:53 西西嘛呦阅读(433) 评论(0) 推荐(0)

pytorch版本的bert模型代码

摘要：代码出处：https://github.com/aespresso/a_journey_into_math_of_ml/blob/master/04_transformer_tutorial_2nd_part/BERT_tutorial/models/bert_model.py # coding=u 阅读全文

posted @ 2020-07-21 11:45 西西嘛呦阅读(2090) 评论(0) 推荐(2)

wiki百科之将词转换为索引表示

摘要： import os import json # 现在已经有准备好的BERT维基百科训练语料, 已经分割为train_wiki.txt和test_wiki.txt # 语料来源: https://github.com/brightmart/nlp_chinese_corpus # 在准备好的文件里, 阅读全文

posted @ 2020-07-21 11:29 西西嘛呦阅读(312) 评论(0) 推荐(0)

2020年7月20日

pytorch实现的transformer代码分析

摘要：代码来源：https://github.com/graykode/nlp-tutorial/blob/master/5-1.Transformer/Transformer-Torch.py 一些基础变量和参数： import numpy as np import torch import torch 阅读全文

posted @ 2020-07-20 16:38 西西嘛呦阅读(1245) 评论(0) 推荐(0)

transformer的pytorch代码讲解

摘要： 1、https://zhuanlan.zhihu.com/p/107889011 2、https://zhuanlan.zhihu.com/p/107891957 3、https://zhuanlan.zhihu.com/p/109003287 阅读全文

posted @ 2020-07-20 11:09 西西嘛呦阅读(1385) 评论(0) 推荐(0)

transformer中自注意力和多头注意力的pytorch实现

摘要：首先是注意力公式：其计算图：代码： def attention(query, key, value, mask=None, dropout=None): # query, key, value的形状类似于(30, 8, 10, 64), (30, 8, 11, 64), #(30, 8, 11, 阅读全文

posted @ 2020-07-20 10:50 西西嘛呦阅读(6435) 评论(3) 推荐(0)

transformer中的位置嵌入pytorch代码

摘要： class PositionalEncoding(nn.Module): "Implement the PE function." def __init__(self, d_model, dropout, max_len=5000): #d_model=512,dropout=0.1, #max_l 阅读全文

posted @ 2020-07-20 10:23 西西嘛呦阅读(3947) 评论(0) 推荐(0)

pytorch中的nn.Embedding

摘要：直接看代码： import torch import torch.nn as nn embedding=nn.Embedding(10,3) input=torch.LongTensor([[1,2,4,5],[4,3,2,9]]) embedding(input) tensor([[[ 0.805 阅读全文

posted @ 2020-07-20 10:13 西西嘛呦阅读(3340) 评论(0) 推荐(0)

2020年7月19日

transformer+bert学习地址

摘要： ipynb在线查看地址：https://nbviewer.jupyter.org/github/aespresso/a_journey_into_math_of_ml/ github地址：https://github.com/aespresso/a_journey_into_math_of_ml h 阅读全文

posted @ 2020-07-19 17:24 西西嘛呦阅读(339) 评论(0) 推荐(0)

从自己能做到的开始，一件件来，缓慢而坚定地前进，尽力而为

公告