随笔分类 - 机器学习
聊一聊学习率预热linear warmup
摘要:来源链接:https://mp.weixin.qq.com/s?__biz=MzAxOTU5NTU4MQ==&mid=2247488715&idx=1&sn=2acedd3705b27e5b9e259485f2dd9653&chksm=9bc5fc99acb2758f82b638d03ace8993
阅读全文
softmax和crossentropy
摘要:当进行多分类任务时,通常会使用 Softmax 函数和 CrossEntropyLoss 损失函数来处理模型的输出和计算损失。 Softmax 函数: Softmax 函数用于将模型的原始输出转换为概率分布。对于一个具有 K 个类别的模型输出向量 z,Softmax 函数的定义如下: softmax
阅读全文
CAM系列(二)之Grad-CAM(原理讲解和代码实现)zz
摘要:上篇文章介绍了CAM的开篇之作CAM系列(一)之CAM(原理讲解和PyTorch代码实现),本篇接着介绍泛化性和通用性能更好的Grad-CAM。 Grad-CAM的提出背景:CAM揭示了卷积神经网络分类模型中图像的空间特征与其类别权重之间的联系,然鹅,CAM只适用于模型中有全局平均池化层并且只有一个
阅读全文
CAM系列(一)之CAM(原理讲解和PyTorch代码实现)zz
摘要:图1 CAM实现示意图 一、什么是CAM? CAM的全称是Class Activation Mapping或Class Activation Map,即类激活映射或类激活图。 论文《Learning Deep Features for Discriminative Localization》发现了C
阅读全文
设备故障诊断zz
摘要:一般故障诊断的大部分进了高校,还有一部分进互联网,工业界目前还是用频谱那一套用的最多,还是进互联网吧。故障诊断这学科真是一言难尽,都那一小圈人自娱自乐罢了。 如果对故障诊断真的感兴趣的话,可参考如下文章 基于双树复小波变换DTCWT的轴承故障诊断 - 哥廷根数学学派的文章 - 知乎 https://
阅读全文
时序数据增强 for 深度学习
摘要:前言 最近,深度学习在许多时间序列分析任务中表现出色。深度神经网络的优越性能严重依赖于大量训练数据以避免过度拟合。然而,许多现实世界时间序列应用的标记数据可能受到限制,例如医学时间序列中的分类和AIOps中的异常检测。作为提高训练数据规模和质量的有效途径,数据扩充对于深度学习模型在时间序列数据上的成
阅读全文
腾讯邱东洋:深度模型推理加速的术与道zz
摘要:导读:随着业务规模的不断发展,算法模型复杂度不断增加,实时性要求很高的场景,对在线推理优化提出很大挑战。本文将和大家分享腾讯智能对话产品中模型推理优化的常见方法和聚焦GPU推理的方法论。主要内容包括以下几大方面: 背景介绍 推理性能优化的常用方法 GPU并行加速的方法论 总结 -- 01 背景介绍
阅读全文
零次学习(Zero-Shot Learning)入门zz
摘要:很久没有更文章了,主要是没有找到zero-shot learning(ZSL)方面我特别想要分享的文章,且中间有一段时间在考虑要不要继续做这个题目,再加上我懒 (¬_¬),所以一直拖到了现在。 最近科研没什么进展,就想着写一个ZSL的入门性的文章,目的是为了帮助完全没有接触过这方面,并有些兴趣的同学
阅读全文
详解使用Python+Pycaret进行异常检测zz
摘要:目录 概述 介绍 为什么是PyCaret 学习目标 PyCaret安装 数据导入 探索性异常检测分析 Swarm图 箱形图 散点图 异常检测 模型创建 隔离森林 局部异常因子 K最近邻 比较模型中的异常 解释和可视化 尾注 概述 1.通过探索性异常检测分析了解异常 2.设置 PyCaret 环境并尝
阅读全文
使用sktime进行时间序列预测zz
摘要:使用sktime预测 在预测中,我们对利用过去的数据进行对未来进行预测很感兴趣。sktime提供了常用的统计预测算法和用于建立复合机器学习模型的工具。 更多细节,请看我们关于用sktime进行预测的论文,其中我们更详细地讨论了 forecasting API,并使用它来复制和扩展M4研究。 准备工作
阅读全文
Matrix Profile 与 Stumpy (时间序列挖掘,矩阵画像)zz
摘要:Matrix Profile 矩阵画像 (下文中简称为MP) 是由UCR(加州大学河滨分校)提出的一个时间序列的分析算法 —————————————————————————— 目录: 算法简介 算法库 算法应用 其他集成应用 —————————————————————————— 算法简介 通过一个时
阅读全文
时间序列异常检测zz
摘要:更新: 2022/04/07: 新增一些比较有用的github在useful link2022/03/14: 新增统计异常检测方法 Grubbs' Test 和 ESD算法2022/01/07: 新增振幅检测:异常检测_LaoChen_ZeroonE-CSDN博客_异常检测2021/12/23: 新
阅读全文
你应该知道的LightGBM各种操作!
摘要:LightGBM是基于XGBoost的一款可以快速并行的树模型框架,内部集成了多种集成学习思路,在代码实现上对XGBoost的节点划分进行了改进,内存占用更低训练速度更快。 LightGBM官网: https://lightgbm.readthedocs.io/en/latest/ 参数介绍: ht
阅读全文
多任务学习-Multitask Learning概述zz
摘要:1、单任务学习VS多任务学习 单任务学习:一次只学习一个任务(task),大部分的机器学习任务都属于单任务学习。 多任务学习:把多个相关(related)的任务放在一起学习,同时学习多个任务。 多任务学习(multitask learning)产生的原因? 获取最新消息链接:获取最新消息快速通道 -
阅读全文
深度学习四种不同归一化方式对比zz
摘要:深度学习中数据的维度⼀般是【N, H, W, C】格式,其中 N 是batch size,H、W是特征图的⾼和宽,C是特征图的通道数。如下图所⽰,是 BN、LN、IN 与 GN 作⽤⽅式的对⽐图。 下⾯分别来解释这四种不同的归⼀化⽅式: 批归⼀化BN:对批次⽅向(N)做归⼀化 层归⼀化LN:在通道⽅
阅读全文
ARIMA模型的理论与实践
摘要:Arima模型见这篇文章 https://blog.csdn.net/zhongzhi_huyang/article/details/123265759 相关知识: 使用python实现时间序列白噪声检验方式 白噪声检验也称为纯随机性检验, 当数据是纯随机数据时,再对数据进行分析就没有任何意义了,
阅读全文
一文详解Softmax函数zz
摘要:前言 提到二分类首先想到的可能就是逻辑回归算法。逻辑回归算法是在各个领域中应用比较广泛的机器学习算法。逻辑回归算法本身并不难,最关键的步骤就是将线性模型输出的实数域映射到[0, 1]表示概率分布的有效实数空间,其中Sigmoid函数刚好具有这样的功能。 sigmoid激活函数 例如使用逻辑回归算法预
阅读全文
10个梯度下降优化算法+备忘单
摘要:原标题 | 10 Gradient Descent Optimisation Algorithms + Cheat Sheet 作者 | Raimi Karim in Towards Data Science 译者 | 斯蒂芬•二狗子(沈阳化工大学)、intelLigenJ(算法工程师)、星期五、莱
阅读全文
浙公网安备 33010602011771号