雨后观山色

摘要： 1.LSTM+CRF概述 对于命名实体识别来讲，目前比较流行的方法是基于神经网络，例如，论文[1]提出了基于BiLSTM-CRF的命名实体识别模型，该模型采用word embedding和character embedding（在英文中，word embedding对应于单词嵌入式表达，charac 阅读全文

摘要： 1.CrossEntropyLoss()损失函数 交叉熵主要是用来判定实际的输出与期望的输出的接近程度，为什么这么说呢，举个例子：在做分类的训练的时候，如果一个样本属于第K类，那么这个类别所对应的的输出节点的输出值应该为1，而其他节点的输出都为0，即[0,0,1,0,….0,0]，这个数组也就是样本 阅读全文

摘要： 1.LSTM模型参数说明 class torch.nn.LSTM(*args, **kwargs) 参数列表 input_size：x的特征维度 hidden_size：隐藏层的特征维度 num_layers：lstm隐层的层数，默认为1 bias：False则bih=0和bhh=0. 默认为Tru 阅读全文

摘要： 1.model.train()与model.eval()的用法 看别人的面经时，浏览到一题，问的就是这个。自己刚接触pytorch时套用别人的框架，会在训练开始之前写上model.trian()，在测试时写上model.eval()。然后自己写的时候也就保留了这个习惯，没有去想其中原因。 在经过一番 阅读全文

摘要： 1.RNN的构造过程 RNN是一种特殊的神经网路结构，其本身是包含循环的网络，允许信息在神经元之间传递，如下图所示： 图示是一个RNN结构示意图，图中的 表示神经网络模型， 表示模型的输入信号， 表示模型的输出信号，如果没有 的输出信号传递到 的那个箭头， 这个网络模型与普通的神经网络结构无异。那么 阅读全文

摘要： 1.学习率 (learning rate) 学习率 (learning rate)，控制模型的学习进度 ： 学习率（Learning Rate，常用η表示。）是一个超参数，考虑到损失梯度，它控制着我们在多大程度上调整网络的权重。值越低，沿着向下的斜率就越慢。虽然这可能是一个好主意（使用低学习率），以 阅读全文

摘要： 1.优化器算法简述 首先来看一下梯度下降最常见的三种变形 BGD，SGD，MBGD，这三种形式的区别就是取决于我们用多少数据来计算目标函数的梯度，这样的话自然就涉及到一个 trade－off，即参数更新的准确率和运行时间。 2.Batch Gradient Descent （BGD） 梯度更新规则: 阅读全文

摘要： 1.dict简介 字典是另一种可变容器模型，且可存储任意类型对象。 字典的每个键值 key=>value 对用冒号 : 分割，每个键值对之间用逗号 , 分割，整个字典包括在花括号 {} 中 ,格式如下所示： d = {key1 : value1, key2 : value2 } 键必须是唯一的，但值 阅读全文

摘要： 1.列表list拼接成字符串 Python join() 方法用于将序列(列表是序列的一种)中的元素以指定的字符连接生成一个新的字符串。 item1 = ["lowman", "isbusy"] item2 = ",".join(item1) # 根据实际需要使用相应的分隔符连接列表元素,如 , : 阅读全文

摘要： 1.nn.Module类理解 pytorch里面一切自定义操作基本上都是继承nn.Module类来实现的 方法预览： class Module(object): def __init__(self): def forward(self, *input): def add_module(self, n 阅读全文