Fork me on GitHub
上一页 1 ··· 3 4 5 6 7 8 9 10 11 ··· 119 下一页
摘要: Bert from transformers import ( BertTokenizer, BertConfig, BertModel, ) # clue/roberta_chinese_base bertTokenizer = BertTokenizer.from_pretrained('ber 阅读全文
posted @ 2021-09-19 11:14 西西嘛呦 阅读(932) 评论(0) 推荐(0) 编辑
摘要: Numpy中的数据类型 名称描述 bool_ 布尔型数据类型(True 或者 False) int_ 默认的整数类型(类似于 C 语言中的 long,int32 或 int64) intc 与 C 的 int 类型一样,一般是 int32 或 int 64 intp 用于索引的整数类型(类似于 C 阅读全文
posted @ 2021-09-11 14:25 西西嘛呦 阅读(367) 评论(0) 推荐(0) 编辑
摘要: 大体过程 对层数进行剪枝 1、加载预训练的模型; 2、提取所需要层的权重,并对其进行重命名。比如我们想要第0层和第11层的权重,那么需要将第11层的权重保留下来并且重命名为第1层的名字; 3、更改模型配置文件(保留几层就是几),并且将第11层的权重赋值给第1层; 4、保存模型为pytorch_mod 阅读全文
posted @ 2021-08-27 14:31 西西嘛呦 阅读(1263) 评论(0) 推荐(0) 编辑
摘要: 首先得明确包和模块。 包:在一个目录下存在__init__.py,那么该目录就是一个包。 模块:一个.py文件就是一个模块。 我们可以通过from 包 import 模块来引入python文件, 也可以使用from 包.模块 import 模块中的函数或类。 具体看一下例子。 假设我们现在有以下的目 阅读全文
posted @ 2021-08-22 22:03 西西嘛呦 阅读(579) 评论(0) 推荐(0) 编辑
摘要: 安装相关包 pip install datasets, transformers 去官网看看有什么数据集 https://huggingface.co/datasets 我们选择其中的一个数据集:cail2018 from datasets import load_dataset datasets 阅读全文
posted @ 2021-08-08 20:19 西西嘛呦 阅读(2168) 评论(0) 推荐(0) 编辑
摘要: 主角torch.nn.LSTM() 初始化时要传入的参数 | Args: | input_size: The number of expected features in the input `x` | hidden_size: The number of features in the hidde 阅读全文
posted @ 2021-07-20 19:59 西西嘛呦 阅读(7924) 评论(2) 推荐(5) 编辑
摘要: 生成随机矩阵 x = np.random.rand(2,3) array([[0.10786477, 0.56611762, 0.10557245], [0.4596513 , 0.13174377, 0.82373043]]) 计算softmax 在numpy中 y = np.exp(x) / n 阅读全文
posted @ 2021-07-19 11:00 西西嘛呦 阅读(537) 评论(0) 推荐(0) 编辑
摘要: 我们在使用Bert进行微调的时候,通常都会使用bert的隐含层的输出,然后再接自己的任务头,那么,我们必须先知道bert的输出都是什么,本文接下来就具体记录下bert的输出相关的知识。 由于我们微调bert的时候一般选用的是中文版的模型,因此,接下来我们加载的就是中文预训练模型bert。直接看代码: 阅读全文
posted @ 2021-07-15 17:27 西西嘛呦 阅读(9773) 评论(0) 推荐(3) 编辑
摘要: xshell6下载地址 http://www.downza.cn/soft/235505.html xftp6下载地址 http://www.downza.cn/soft/278388.html navicat Navicat Premium 是MySQL,SQL Server,Oracle和Pos 阅读全文
posted @ 2021-07-06 22:45 西西嘛呦 阅读(295) 评论(0) 推荐(1) 编辑
摘要: 具体实例 from transformers import BertTokenizer import os tokens = ['我','爱','北','京','天','安','门'] tokenizer = BertTokenizer(os.path.join('/content/drive/My 阅读全文
posted @ 2021-06-13 19:49 西西嘛呦 阅读(3384) 评论(0) 推荐(0) 编辑
上一页 1 ··· 3 4 5 6 7 8 9 10 11 ··· 119 下一页