摘要： 一、架构图 二、代码 class TextBILSTM(nn.Module): def __init__(self, config:TRNNConfig, char_size = 5000, pinyin_size = 5000): super(TextBILSTM, self).__init__( 阅读全文

摘要： https://github.com/ymcui/Chinese-BERT-wwm 在自然语言处理领域中，预训练语言模型（Pre-trained Language Models）已成为非常重要的基础技术。为了进一步促进中文信息处理的研究发展，我们发布了基于全词遮罩（Whole Word Maskin 阅读全文

摘要： huggingface的transformers框架，囊括了BERT、GPT、GPT2、ToBERTa、T5等众多模型，同时支持pytorch和tensorflow 2，代码非常规范，使用也非常简单，但是模型使用的时候，要从他们的服务器上去下载模型，那么有没有办法，把这些预训练模型下载好，在使用时指 阅读全文

摘要： 一、出处 https://www.sbert.net/examples/training/sts/README.html https://github.com/UKPLab/sentence-transformers/blob/master/examples/training/sts/trainin 阅读全文

摘要： 1、摘要 BERT (Devlin et al., 2018) and RoBERTa (Liu et al., 2019) has set a new state-of-the-art performance on sentence-pair regression tasks like seman 阅读全文

摘要： 一、引入 1有很多指标可以用来衡量向量的相似度，比如余弦距离、汉明距离、欧氏距离等。 在图像、视频、文本、音频领域，做向量的相似性搜索，有很多应用点，比如：图像识别，语音识别、垃圾邮件过滤。 这种基于相似度检索的方案，不同于机器学习模型的方案。比如用有监督学习模型来做人脸识别，模型的可解释性较低，而 阅读全文

摘要： 1 set nocompatible 2 set ic 3 set hlsearch 4 set encoding=utf-8 5 set fileencodings=utf-8,ucs-bom,GB2312,big5 6 set cursorline 7 set autoindent 8 set 阅读全文

摘要： 在这篇文章中，我将概述一些在PyTorch中加速深度学习模型训练时改动最小，影响最大的方法。对于每种方法，我会简要总结其思想，并估算预期的加速度，并讨论一些限制。我将着重于传达最重要的部分，并为每个部分给出额外的一些资源。大多数情况下，我会专注于可以直接在PyTorch中进行的更改，而不需要引入额外 阅读全文

摘要： 一、概述 数据集较小时（小于2W）建议num_works不用管默认就行，因为用了反而比没用慢。当数据集较大时建议采用，num_works一般设置为（CPU线程数+-1）为最佳，可以用以下代码找出最佳num_works（注意windows用户如果要使用多核多线程必须把训练放在if __name__ = 阅读全文

摘要： 一、类别编码必须是0开始 import argparse import torch import tqdm from root_path import root import os import pandas as pd import json from sklearn.model_selectio 阅读全文