youngf

摘要： 本博客翻译自RUDER的博客《ML and NLP Research Highlights of 2020》 本文选取的领域和方法很大程度上受到自身兴趣的影响，所选择的话题偏向于表征学习和迁移学习，也偏向于NLP。我尽量覆盖自己听到看到的所有论文，但是也可能会遗漏很多相关的工作，请读者不要拘束，直接 阅读全文

摘要： 抬起头，小米电视上写着"2021年 辛丑年"，那么下一年呢？辛寅年？查了下，是"壬寅年"，天干地支都挪了一位。 我们知道，天干共有10个，分别是甲乙丙丁戊己庚辛壬癸；地支对应生肖，共有十二个，分别是子丑寅卯辰巳午未申酉戌亥。那么天干地支记年法将二者结合，按道理是120年一个循环，但是实际上，一个循环 阅读全文

摘要： Adam: 一个随机优化方法 https://arxiv.org/pdf/1412.6980.pdf 摘要 我们基于低阶矩(lower-order moments)的自适应估计提出Adam算法来解决随机目标函数的基于一阶梯度的优化。该方法易于实现，计算效率高，对内存要求低，不随梯度的对角线重缩放发生 阅读全文

摘要： 最大子数组 这个题，初学之时，老师教我们用分治算法，分三路：在左边子数组、在右边子数组以及跨越中线，其实用动态规划已经很简单了，看状态转移方程就明白了： \[ dp[i] = \begin{cases}arr[i], & \quad i==0\\ max\{dp[i-1]+arr[i], arr[i 阅读全文

摘要： GBDT全称Gradient-boosting decision tree，即用gradient boosting策略训练出来的决策树模型。模型的结果是一组CART树（回归分类树）的组合$T_1, ..., T_K$，其中**$T_j$学习的是之前$j-1$棵树预测结果的残差**。 这种思想就像准备 阅读全文

摘要： 论文链接：https://arxiv.org/pdf/1902.10909.pdf 这篇论文的思路非常简单，就是把BERT用来同时做意图分类和槽填充，其中[CLS]对应的隐藏状态$h_1$用来做句子分类： \[ y^i = softmax(W^ih_1+b^i) \] 同时又拿最后一层每个subwo 阅读全文

摘要： key value 论文名称 LEX-BERT: Enhancing BERT based NER with lexicons 一作 Wei Zhu 单位 上海华东师范大学; 圣地亚哥AI4ALL 发表 ICLR 2021 领域 命名实体识别 主要贡献 提出一种将词信息融入到字嵌入的方法 基础模型 阅读全文

摘要： key value 名称 Pre-training with Whole Word Masking for Chinese BERT 一作 崔一鸣 单位 哈工大; 讯飞实验室 发表 技术报告 时间 2019.10 领域 预训练模型 主要贡献 将whole word masking方法用在中文预训练上 阅读全文

摘要： """ Trie树 """ __author__ = 'youngf' class TrieNode: def __init__(self): self.children = {} self.last = False class Trie: def __init__(self): self.root 阅读全文

摘要： 概览 torch.utils.data主要是负责容纳数据集、数据打散、分批等操作。 这里面有三个概念：数据集dataset，抽样器sampler，数据加载器dataloader。其中第三个就是最终对外的接口，也是最重要的。 它们之间的关系是：首先需要根据源数据创建数据集dataset，然后根据dat 阅读全文