阿莱的技术博客

摘要： [toc] ## 疾病预测 我们以疾病预测为例子来介绍分类的指标。疾病预测是一个二分类预测任务，我们需要预测患者是否患有疾病。 如下图，假设一共有100个样本，其中90个是正常未患病的人，10个是患病的人，现在模型预测出12个患病的人，88个未患病的人。 预测患病的人中，8人真正患病（真阳性），4人 阅读全文

摘要： [toc] 回溯算法是非常常见的一类经典问题类型，它可以看成每次扩展一个情况（扩展解空间），直到达到边界条件或者找到条件的所有解。在这篇文章中，我们主要讨论回溯问题常见的两种写法和它们适用的题目。 ## 基础写法 以力扣的**78.子集**为例，这一题就是找到给定数组的所有子集，数组中的元素互不相同 阅读全文

摘要： 集成学习是一种利用多个基础模型来构建更加准确、稳定的预测模型的机器学习技术。集成学习的基本思想是将多个模型组合起来，通过集体决策来提高模型的预测性能。它能够有效地降低单个模型的过拟合风险，提高模型的泛化性能。 集成学习有很多方法和框架，以下是整体的分类图： 串行集成学习 AdaBoost AdaBo 阅读全文

摘要： github网站：https://github.com/google-research/tuning_playbook 调参时需要考虑的内容： 1. 所选优化器的所有超参数 SGD/ADAM/NAdam 怎么调Adam？ 按照研究中试验次数的不同“预算”来调整： 如果一项研究中有 < 10 次试验， 阅读全文

摘要： 如果有多gpu的情况，可以这样写： from torch_geometric.nn import DataParallel if torch.cuda.device_count() > 1: model = DataParallel(model, device_ids=[0,1]) 这样模型就会变成 阅读全文

摘要： 最近被双线性搞迷糊了，看pytorch源码和数学感觉有点迷糊，所以在这里记录一下探究的结果。 Pytorch源码 class Bilinear(Module): r"""Applies a bilinear transformation to the incoming data: :math:`y 阅读全文

摘要： 一直没完全搞清楚pytorch的乘法是怎么样计算的，今天来完整地实验一下。 广播(broadcast)的概念 👉官方文档 如果两个tensor可广播，那么需要满足如下的规则： 每个tensor至少有一个维度 当按照维度尺寸迭代时，从最后的维度开始迭代，维度尺寸需要满足：相等。其中一个是1或者不存在 阅读全文

摘要： docker常用操作 显示容器 docker ps -a 显示镜像 docker images 删除镜像 注意，如果无法删除，需要先将运行中的容器给删除。 docker rmi IMAGE_ID 删除容器 docker rm CONTAINER_ID 运行容器 docker run IMAGE_NA 阅读全文

摘要： 深度学习模型中的权重初始化对模型的训练效果有很大的影响，对预训练模型的研究就是为了在大模型上先训练出较好的权重，然后再放到不同的小任务上微调。 对于不加载预训练的模型，仍然可以通过定义模型权重初始化的方式来使得模型获得较好的效果，以下介绍不同的权重初始化方法、适用场景及效果。 计算增益 对于线性 | 阅读全文

摘要： 判断两个张量相等 用这个式子判断： 0 == (y!= x).sum() 为True则相等，False为不等 创建对角矩阵 torch.block_diag https://pytorch.org/docs/1.10/generated/torch.block_diag.html#torch.blo 阅读全文