上一页 1 2 3 4 5 6 ··· 8 下一页
摘要: 模型层间差分学习率 一般在微调Bert等预训练模型时使用,可以配合warmup,见warmup小记。 tensorflow 几行搞定,参考官方文档[1] import tensorflow_addons as tfa optimizers = [ tf.keras.optimizers.Adam(l 阅读全文
posted @ 2022-04-10 19:33 鱼与鱼 阅读(333) 评论(0) 推荐(0) 编辑
摘要: 什么是warmup 热身,在刚刚开始训练时以很小的学习率进行训练,使得网络熟悉数据,随着训练的进行学习率慢慢变大,到了一定程度,以设置的初始学习率进行训练,接着过了一些inter后,学习率再慢慢变小; 学习率变化:上升——平稳——下降 为什么用warmup 有助于减缓模型在初始阶段对mini-bat 阅读全文
posted @ 2022-04-10 16:13 鱼与鱼 阅读(525) 评论(0) 推荐(0) 编辑
摘要: 模型召回之SimCSE dataset unsuper import numpy as np import math class UnsuperviseData(tf.keras.utils.Sequence): def __init__(self, x_set, batch_size): self 阅读全文
posted @ 2022-04-09 16:35 鱼与鱼 阅读(529) 评论(0) 推荐(0) 编辑
摘要: 模型召回之DSSM 双塔模型 负样本构造:训练前构造或训练时批内构造 实现 model from transformers import AutoConfig,AutoTokenizer,TFAutoModel MODEL_NAME = "hfl/chinese-roberta-wwm-ext" t 阅读全文
posted @ 2022-04-09 15:48 鱼与鱼 阅读(257) 评论(0) 推荐(0) 编辑
摘要: 方案: https://github.com/PaddlePaddle/PaddleNLP/tree/develop/applications/neural_search 模型召回:双塔模型 DSSM、sentence-bert、simcse 向量检索利器:ANN [1] 最近邻搜索 (Neares 阅读全文
posted @ 2022-04-04 12:46 鱼与鱼 阅读(71) 评论(0) 推荐(0) 编辑
摘要: 环境: python3.6 tensorflow2.6.0 使用 tf.saved_model.load 加载模型错误 AttributeError: '_UserObject' object has no attribute 'add_slot' 解决方案1: 升级到 tensorflow 2.7 阅读全文
posted @ 2022-04-01 15:14 鱼与鱼 阅读(924) 评论(0) 推荐(0) 编辑
摘要: 对比学习的核心就是loss的编写,记录下loss的tensorflow实现 def unsupervise_loss(y_pred, alpha=0.05): idxs = tf.range(y_pred.shape[0]) y_true = idxs + 1 - idxs % 2 * 2 y_pr 阅读全文
posted @ 2022-03-28 20:17 鱼与鱼 阅读(342) 评论(0) 推荐(0) 编辑
摘要: 本文简述对抗训练在图像的的实践方法,关于对抗训练的理论和NLP应用请参阅参考文献【1】。 可以采用两种方法: 在原始样本训练模型,在对抗样本微调 混合正常样本和对抗样本一起训练 完成模型训练后,构造对抗样本 from tensorflow.keras.losses import MSE import 阅读全文
posted @ 2022-03-16 17:58 鱼与鱼 阅读(185) 评论(0) 推荐(0) 编辑
摘要: 技术架构 整体可以分为 检索召回、排序 搜索相关的策略大体分为如下: query 理解->分词,纠错,意图识别,term weight 等 召回-> bool检索,倒排索引, bm25, tf-idf, 语义相似度 等 排序-> learning to ranking,深度模型 等 尽快划分为不同阶 阅读全文
posted @ 2022-03-13 19:37 鱼与鱼 阅读(961) 评论(0) 推荐(0) 编辑
摘要: 针对前文所述 机器学习模型部署摘要 中docker+fastapi部署机器学习的一个完整示例 outline fastapi简单示例 基于文件内容检测的机器学习&fastapi 在docker容器部署 Install pip install fastapi pip install "uvicorn[ 阅读全文
posted @ 2022-03-13 09:48 鱼与鱼 阅读(1632) 评论(0) 推荐(1) 编辑
摘要: 1、如果是实时的、小数据量的预测应用,则采用的SOA调用Rserve或者python-httpserve来进行应用;这种应用方式有个缺点是需要启用服务来进行预测,也就是需要跨环境,从Java跨到R或者Python环境。对于性能,基本上我们用Rserver方式,针对一次1000条或者更少请求的预测,可 阅读全文
posted @ 2022-03-13 09:23 鱼与鱼 阅读(391) 评论(0) 推荐(1) 编辑
摘要: 一般提升模型效果从两个大的方面入手 数据层面:数据增强、特征工程等 模型层面:调参,模型融合 **模型融合:**通过融合多个不同的模型,可能提升机器学习的性能。这一方法在各种机器学习比赛中广泛应用, 也是在比赛的攻坚时刻冲刺Top的关键。而融合模型往往又可以从模型结果,模型自身,样本集等不同的角度进 阅读全文
posted @ 2022-02-14 11:50 鱼与鱼 阅读(1955) 评论(0) 推荐(0) 编辑
摘要: ELF初识 ELF的全称是Executable and Linking Format,这个名字相当关键,包含了ELF所需要支持的两个功能——执行和链接。不管是ELF,还是Windows的PE,抑或是MacOS的Mach-O,其根本目的都是为了能让处理器正确执行我们所编写的代码。 ELF Header 阅读全文
posted @ 2022-02-10 20:03 鱼与鱼 阅读(215) 评论(0) 推荐(0) 编辑
摘要: 针对大型数据集,数据过大无法加载到内存,使用增量训练方式 sklearn def generator(all_file_path): for filename in all_file_path: try: bytedata = open(filename, "rb").read() except: 阅读全文
posted @ 2022-01-25 10:24 鱼与鱼 阅读(1145) 评论(0) 推荐(0) 编辑
摘要: 常量 进行忽略大小写匹配 re.IGNORECASE 让 \w, \W, \b, \B, \d, \D, \s 和 \S 只匹配ASCII,而不是Unicode re.ASCII DOT表示.,ALL表示所有,连起来就是.匹配所有,包括换行符\n。默认模式下.是不能匹配行符\n的 re.DOTALL 阅读全文
posted @ 2022-01-20 15:10 鱼与鱼 阅读(71) 评论(0) 推荐(0) 编辑
上一页 1 2 3 4 5 6 ··· 8 下一页