jasonzhangxianrong

2021年5月21日

摘要： Faiss库是由 Facebook 开发的适用于稠密向量匹配的开源库，支持 c++ 与 python 调用。通过实验证实，128维的125W向量，在 CPU 下检索耗时约70ms，经过 GPU 加速后检索耗时仅5ms。一、安装 Faiss 支持直接通过 conda 安装 python 接口，以及阅读全文

posted @ 2021-05-21 11:39 jasonzhangxianrong 阅读(4033) 评论(0) 推荐(0)

2021年5月18日

推荐系统（一）：DeepFm原理与实战

摘要：一、概述 https://blog.csdn.net/springtostring/article/details/108157070 FM模型善于挖掘二阶特征交叉关系，而神经网络DNN的优点是能够挖掘高阶的特征交叉关系，于是DeepFM将两者组合到一起，实验证明DeepFM比单模型FM、DNN效果阅读全文

posted @ 2021-05-18 10:28 jasonzhangxianrong 阅读(1431) 评论(0) 推荐(0)

2021年5月16日

NLP（十五）：word2vec+ESIM进行文本相似度计算

摘要：一、准备数据集 models\esim_model\my_dataset.py import torch.utils.data as data class MyDataset(data.Dataset): def __init__(self, texta, textb, label): self.t 阅读全文

posted @ 2021-05-16 14:13 jasonzhangxianrong 阅读(991) 评论(3) 推荐(0)

NLP（十四）：Simple-Transformers—用BERT，RoBERTa，XLNet，XLM和DistilBERT文本分类

摘要： https://zhuanlan.zhihu.com/p/87760325 https://zhuanlan.zhihu.com/p/89232880 一、前言 Simple Transformers是Hugging Face在的Transformers库的基础上构建的。 Hugging Face 阅读全文

posted @ 2021-05-16 03:55 jasonzhangxianrong 阅读(1298) 评论(0) 推荐(0)

NLP(十三)：word2vec和siamese-LSTM结合计算文本相似度

摘要：一、定义数据加载 my_dataset.py import torch.utils.data as data class MyDataset(data.Dataset): def __init__(self, texta, textb, label): self.texta = texta self 阅读全文

posted @ 2021-05-16 03:30 jasonzhangxianrong 阅读(813) 评论(0) 推荐(0)

(七)详解pytorch中的交叉熵损失函数nn.BCELoss()、nn.BCELossWithLogits()，二分类任务如何定义损失函数，如何计算准确率、如何预测

摘要：最近在做交叉熵的魔改，所以需要好好了解下交叉熵，遂有此文。关于交叉熵的定义请自行百度，相信点进来的你对其基本概念不陌生。本文将结合PyTorch，介绍离散形式的交叉熵在二分类以及多分类中的应用。注意，本文出现的二分类交叉熵和多分类交叉熵，本质上都是一个东西，二分类交叉熵可以看作是多分类交叉熵的一阅读全文

posted @ 2021-05-16 02:51 jasonzhangxianrong 阅读(35828) 评论(2) 推荐(2)

2021年5月14日

pandas(二)：在pandas中搜索包含关键词的行

摘要：一、代码 # -*- coding: UTF-8 -*- import json import pandas as pd """获得所有的文本""" def get_all_text(): file_path = "../datas/format/primary.json" names = [] r 阅读全文

posted @ 2021-05-14 18:43 jasonzhangxianrong 阅读(1145) 评论(0) 推荐(0)

2021年5月13日

NLP(十二)：word2vec+siamese-BiLSTM计算文本相似度

摘要：一、模型my_bilstm.py import torch from torch import nn class SiameseLSTM(nn.Module): def __init__(self, input_size): super(SiameseLSTM, self).__init__() s 阅读全文

posted @ 2021-05-13 22:44 jasonzhangxianrong 阅读(1085) 评论(4) 推荐(0)

2021年5月12日

NLP(十一)：sentence_BERT

摘要：一、引言 https://zhuanlan.zhihu.com/p/351678987 在自然语言处理NLP中，文本分类、聚类、表示学习、向量化、语义相似度或者说是文本相似度等等都有非常重要的应用价值。这些任务都是为了能从复杂的文本中，通过采用ML/DL的方法，学习到本文深层次的语义表示，从而更好地阅读全文

posted @ 2021-05-12 20:21 jasonzhangxianrong 阅读(3129) 评论(0) 推荐(1)

2021年5月5日

tensorflow(四十三)：自编码器和VAE

摘要：一、自编码器引入二、自编码器三种变体三、基本自编码器实战 import os import numpy as np import tensorflow as tf from tensorflow import keras from PIL import Image from matplotlib 阅读全文

posted @ 2021-05-05 14:42 jasonzhangxianrong 阅读(535) 评论(0) 推荐(0)

公告