摘要： BERT-flow来自论文《On the Sentence Embeddings from Pre-trained Language Models》，中了EMNLP 2020，主要是用flow模型校正了BERT出来的句向量的分布，从而使得计算出来的cos相似度更为合理一些。由于笔者定时刷Arixv的 阅读全文

摘要： 一、项目目录 二、data_clean生成数据 from common.root_path import root import os import pandas as pd class DataMerge(object): def __init__(self): self.data_path = 阅读全文

摘要： 一、理论学习 1、胶囊结构 胶囊可以看成一种向量化的神经元。对于单个神经元而言，目前的深度网络中流动的数据均为标量。例如多层感知机的某一个神经元，其输入为若干个标量，输出为一个标量（不考虑批处理）；而对于胶囊而言，每个神经元输入为若干个向量，输出为一个向量（不考虑批处理）。前向传播如下所示： 其中I 阅读全文

摘要： 中文字、词Bert向量生成利用Bert预训练模型生成中文的字、词向量，字向量是直接截取Bert的输出结果；词向量则是把词语中的每个字向量进行累计求平均（毕竟原生Bert是基于字符训练的），Bert预训练模型采用的是科大讯飞的chinese_wwm_ext_pytorch，网盘下载地址： 链接：htt 阅读全文

摘要： Focal Loss for Dense Object Detection 是ICCV2017的Best student paper,文章思路很简单但非常具有开拓性意义，效果也非常令人称赞。 GHM(gradient harmonizing mechanism) 发表于 “Gradient Harm 阅读全文

摘要： 1.为什么需要好的权重初始化 网络训练的过程中, 容易出现梯度消失(梯度特别的接近0)和梯度爆炸(梯度特别的大)的情况,导致大部分反向传播得到的梯度不起作用或者起反作用. 研究人员希望能够有一种好的权重初始化方法: 让网络前向传播或者反向传播的时候, 卷积的输出和前传的梯度比较稳定. 合理的方差既保 阅读全文

摘要： 一、xgboost类库实用小结 在XGBoost算法原理小结中，我们讨论了XGBoost的算法原理，这一片我们讨论如何使用XGBoost的Python类库，以及一些重要参数的意义和调参思路。 本文主要参考了XGBoost的Python文档 和 XGBoost的参数文档。 1. XGBoost类库概述 阅读全文

摘要： 一、将收集到的语料进行文本预处理 1）train.txt预处理为train.csv，格式为id，内容，标签 使用excel打开train.txt然后选择分隔符为英文逗号，这样内容在一列，然后再为他们添加id，从1-900，接着添加标签，0，1，2分别表示财经，体育，军事。最后另存为csv文件。 2） 阅读全文

摘要： 做nlp的时候，如果用到tf-idf，sklearn中用CountVectorizer与TfidfTransformer两个类，下面对和两个类进行讲解 一、训练以及测试 CountVectorizer与TfidfTransformer在处理训练数据的时候都用fit_transform方法，在测试集用 阅读全文

摘要： 摘要 Scene text with an irregular layout is difficult to recognize. To this end, a S equential T ransformation A ttention-based N etwork (STAN), which c 阅读全文