摘要: 这篇博客整理了机器学习系统相关的博客,一方面是为了方便自己和读者查阅文章,另一方面这个手动整理的目录是一个学习路线。如果您对机器学习系统感兴趣,那么希望我的这个导航可以给到您启发。 应用 神经网络基础 神经网络之优化算法;权重衰减和学习率衰减 卷积神经网络基础 自然语言处理 命名实体识别:Neura 阅读全文
posted @ 2022-10-14 22:46 楷哥 阅读(508) 评论(0) 推荐(0) 编辑
摘要: triangular_solve 算子简介 目标:求解上三角或者下三角作为系数方阵的线性系统,即求解 $AX=B$ 或者 $XA=B$,求解具有唯一解的 X。 接口输出参数: A:形状 [*, M, M],A 是一个方阵。其中 * 表示 batch_size,或者直接没有也行。 B:形状 [*, M 阅读全文
posted @ 2023-02-26 17:37 楷哥 阅读(137) 评论(0) 推荐(0) 编辑
摘要: 最早是在大一的时候接触 Python,最初是看的廖雪峰的 Python 教程,草草学习了几天,自那以后就再也没有学过 Python 语言了。虽然没怎么学,但是用起来也不算太难,遇到不会的就查。但最近越发觉得自己的 Python 写的非常糟糕,连 import 的规则都不够清楚。在接触了一些优秀的开源 阅读全文
posted @ 2023-01-10 21:42 楷哥 阅读(200) 评论(0) 推荐(0) 编辑
摘要: 这篇文章列举了文本分类数据集,这些数据集大多数可以在 Hugging Face 文本分类任务数据集 上面找到并下载使用。 速览 文本分类: IMDB:影评 AGNews: 新闻归档数据集 CoLA: 语言可接受性语料库,判断是否符合语法 SST2:斯坦福情感分析数据集,主要是影评 rotten-to 阅读全文
posted @ 2023-01-08 15:46 楷哥 阅读(1505) 评论(0) 推荐(0) 编辑
摘要: TextAttack TextAttack 主要用于 NLP 对抗样本攻击,提供了一系列文本对抗攻击的算法。TextAttack 在 README 里面,列举了不同攻击算法的特性,这些特性如下: Goal Function:untargeted/targeted 两种方式。对于分类算法,untarg 阅读全文
posted @ 2022-12-26 10:22 楷哥 阅读(2073) 评论(0) 推荐(0) 编辑
摘要: 这篇文章记录自己日常工作中用到的命令实例,作为自己的命令速查手册,将保持不断更新。 bash 命令 alternatives 切换一条命令的不同指向。一开始,服务器上安装了两个 Java 版本,如果想要从一个版本切换到另一个版本,那么使用 alternatives 就可以帮助我们轻易做到切换命令的具 阅读全文
posted @ 2022-12-19 08:57 楷哥 阅读(117) 评论(0) 推荐(0) 编辑
摘要: 标题:Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference 标题当中的 cloze 一词,根据 Merriam-Webster 上的翻译,大致可以理解为一项阅读理解测试,总 阅读全文
posted @ 2022-12-10 10:29 楷哥 阅读(568) 评论(0) 推荐(0) 编辑
摘要: 前言 最近做深度学习实验,时常会感叹深度学习就像炼丹一样,效果好坏似乎就像上帝在掷骰子。后面反思了一下自己的实验方法,再反思了一下做实验的目的。 什么时候我们可以自信的说出我的模型、我的方法、我的改进是有效的呢? 固定随机数种子 以往做实验的方法,是通过固定一个随机数种子,然后在这个随机数种子上做到 阅读全文
posted @ 2022-12-06 15:55 楷哥 阅读(884) 评论(0) 推荐(0) 编辑
摘要: 前言 这两天在做一个事情:使用 NVIDIA Triton 将训练好的文本分类模型 BERT + TextCNN 部署到服务器上。部署模型的过程中,发现模型的输入预处理操作,可以部署到客户端上,也可以部署到服务端上。因此,有了本文的标题,模型的预处理操作应该部署在哪里? 对于文本分类模型,预处理操作 阅读全文
posted @ 2022-11-16 11:01 楷哥 阅读(615) 评论(0) 推荐(0) 编辑
摘要: 前言 10月30日,参加了第五届开源创新大赛,开源代码评注赛赛道的决赛答辩。赛前用心做了 PPT,更新迭代了 5 个版本,认真准备了讲稿。决赛答辩规划是 8 分钟答辩,6 分钟问答。这篇博客将本次答辩的 PPT 和讲稿分享出来,讲稿 2400 个字,上场答辩的时候用了比较快的语速,并且选择性的跳过了 阅读全文
posted @ 2022-10-31 09:34 楷哥 阅读(340) 评论(0) 推荐(1) 编辑
摘要: 前言 这段时间参加了天池上的 “DeepRec CTR模型性能优化” 比赛,通过阅读 DeepRec 官方文档,可以了解 DeepRec 做了哪些优化,哪些优化可以迁移借鉴,哪些优化是针对推荐系统的。这篇文章是对 DeepRec 文档的提炼总结,不涉及代码。 图优化 DeepRec 提供的图优化可以 阅读全文
posted @ 2022-10-20 10:44 楷哥 阅读(311) 评论(0) 推荐(0) 编辑