youngf

摘要： Adam: 一个随机优化方法 https://arxiv.org/pdf/1412.6980.pdf 摘要 我们基于低阶矩(lower-order moments)的自适应估计提出Adam算法来解决随机目标函数的基于一阶梯度的优化。该方法易于实现，计算效率高，对内存要求低，不随梯度的对角线重缩放发生 阅读全文

摘要： GBDT全称Gradient-boosting decision tree，即用gradient boosting策略训练出来的决策树模型。模型的结果是一组CART树（回归分类树）的组合$T_1, ..., T_K$，其中**$T_j$学习的是之前$j-1$棵树预测结果的残差**。 这种思想就像准备 阅读全文

摘要： 论文链接：https://arxiv.org/pdf/1902.10909.pdf 这篇论文的思路非常简单，就是把BERT用来同时做意图分类和槽填充，其中[CLS]对应的隐藏状态$h_1$用来做句子分类： \[ y^i = softmax(W^ih_1+b^i) \] 同时又拿最后一层每个subwo 阅读全文

摘要： key value 论文名称 LEX-BERT: Enhancing BERT based NER with lexicons 一作 Wei Zhu 单位 上海华东师范大学; 圣地亚哥AI4ALL 发表 ICLR 2021 领域 命名实体识别 主要贡献 提出一种将词信息融入到字嵌入的方法 基础模型 阅读全文

摘要： key value 名称 Pre-training with Whole Word Masking for Chinese BERT 一作 崔一鸣 单位 哈工大; 讯飞实验室 发表 技术报告 时间 2019.10 领域 预训练模型 主要贡献 将whole word masking方法用在中文预训练上 阅读全文

摘要： """ Trie树 """ __author__ = 'youngf' class TrieNode: def __init__(self): self.children = {} self.last = False class Trie: def __init__(self): self.root 阅读全文

摘要： 概览 torch.utils.data主要是负责容纳数据集、数据打散、分批等操作。 这里面有三个概念：数据集dataset，抽样器sampler，数据加载器dataloader。其中第三个就是最终对外的接口，也是最重要的。 它们之间的关系是：首先需要根据源数据创建数据集dataset，然后根据dat 阅读全文

摘要： 对CUDA架构而言，主机端的内存可分为两种，一种是pageable memory，即可分页内存；另一种是pinned memory，即页锁定内存。 主机默认分配的是pageable memory，也就是说，根据操作系统的指示，主机虚拟内存（内存空间很小，所以内存只放部分数据，其余不重要的放在硬盘中， 阅读全文

摘要： 第一篇 pytorch分布式训练1 在pytorch 1.6.0，torch.distributed中的功能可以分为三个主要的组件： Distributed Data-Parallel Training（DDP）是一个广泛采用的单程序多数据训练方法。使用DDP，模型会被复制到每个进程，然后每个模型副 阅读全文

摘要： award papers Beyond Accuracy: Behavioral Testing of NLP Models with CheckList Tangled up in BLEU: Reevaluating the Evaluation of Automatic Machine Tra 阅读全文