AI大道理 - 博客园

优化算法：曲径步长通优处，优化半天白优化

摘要：本文来自公众号“AI大道理” 训练一个神经网络，我们想要得到误差最小，就是要我们的损失函数最小。如何得到最小值呢？这就是优化算法。梯度下降法是众多优化中的一种。 1、损失函数 2、GD（梯度下降法） 3、BGD（批量梯度下降法） 4、SGD（随机梯度下降法） 5、MBGD（小批量梯度下降法阅读全文

posted @ 2023-02-01 22:40 AI大道理阅读(221) 评论(0) 推荐(0)

LeetCode | 35. 搜索插入位置

摘要：题：力扣 35. 搜索插入位置给定一个排序数组和一个目标值，在数组中找到目标值，并返回其索引。如果目标值不存在于数组中，返回它将会被按顺序插入的位置。请必须使用时间复杂度为 O(log n) 的算法。示例 1: 输入: nums = [1,3,5,6], target = 5 输出: 2 阅读全文

posted @ 2023-01-30 11:10 AI大道理阅读(118) 评论(0) 推荐(0)

LeetCode | 704. 二分查找

摘要：题：力扣 704. 二分查找给定一个 n 个元素有序的（升序）整型数组 nums 和一个目标值 target ，写一个函数搜索 nums 中的 target，如果目标值存在返回下标，否则返回 -1。示例 1: 输入: nums = [-1,0,3,5,9,12], target = 9 输阅读全文

posted @ 2023-01-29 14:12 AI大道理阅读(49) 评论(0) 推荐(0)

正则化：五重境界理解减少过拟合的神器

摘要：本文来自公众号“AI大道理” 正则化作为减少过拟合的手段被大量的使用，那么为什么会出现过拟合呢？正则化又是什么？是怎么样发挥作用的呢？添加图片注释，不超过 140 字（可选） 1、过拟合是什么？过拟合是指模型在训练集上取得很高的识别性能，但在测试集上的识别性能偏低的现象。过拟合使模阅读全文

posted @ 2023-01-15 00:43 AI大道理阅读(243) 评论(0) 推荐(0)

激活函数：让神经网络活过来了

摘要：本文来自公众号“AI大道理” 激活函数（Activation Function）是一种添加到人工神经网络中的函数，旨在帮助网络学习数据中的复杂模式。类似于人类大脑中基于神经元的模型，激活函数最终决定了要发射给下一个神经元的内容。在人工神经网络中，一个节点的激活函数定义了该节点在给定的输入或输入阅读全文

posted @ 2023-01-09 23:52 AI大道理阅读(598) 评论(0) 推荐(1)

YOLO v6：一个硬件友好的目标检测算法

摘要：本文来自公众号“AI大道理” YOLOv6 是美团视觉智能部研发的一款目标检测框架，致力于工业应用。 YOLOv6支持模型训练、推理及多平台部署等全链条的工业应用需求，并在网络结构、训练策略等算法层面进行了多项改进和优化，在 COCO 数据集上，YOLOv6 在精度和速度方面均超越其他同体量算法阅读全文

posted @ 2023-01-01 23:41 AI大道理阅读(923) 评论(0) 推荐(0)

Attention：何为注意力机制？

摘要：本文来自公众号“AI大道理” 人类利用有限的注意力资源从大量信息中快速筛选出高价值信息，这是人类在长期进化中形成的一种生存机制，人类视觉注意力机制极大地提高了视觉信息处理的效率与准确性。 attention从注意力模型的命名方式看，借鉴了人类的注意力机制。编辑 1、从机器翻译说起 Seq2 阅读全文

posted @ 2022-12-28 21:49 AI大道理阅读(733) 评论(0) 推荐(0)

RepOpt-VGG：梯度参数化的开创

摘要：本文来自公众号“AI大道理” YOLov6的量化问题： yolov6在结构中大量使用了重参数结构，导致数据分布过差，PTQ精度急剧下降。另外，重参数化结构网络无法直接使用QAT进行微调提升量化性能。因为Deploy部署的模型无BN，不利于训练；Train模式进行QAT之后无法进行分支融合。阅读全文

posted @ 2022-12-20 21:46 AI大道理阅读(226) 评论(0) 推荐(0)

RepVGG：一个结构重参数化网络

摘要：本文来自公众号“AI大道理” ResNet、DenseNet 等复杂的多分支网络可以增强模型的表征能力，使得训练效果更好。但是多分支的结构在推理的时候效率严重不足。看起来二则不可兼得。能否两全其美？ RepVGG通过结构重参数化的方法，在训练的时候使用多分支结构，而在推理的时候多分支结构融合阅读全文

posted @ 2022-12-17 11:09 AI大道理阅读(1338) 评论(0) 推荐(0)

Yolov3-v5正负样本匹配机制

摘要：本文来自公众号“AI大道理”。什么是正负样本? 正负样本是在训练过程中计算损失用的，而在预测过程和验证过程是没有这个概念的。正样本并不是手动标注的GT。正负样本都是针对于算法经过处理生成的框而言，而非原始的GT数据。正例是用来使预测结果更靠近真实值的，负例是用来使预测结果更远离除了真阅读全文

posted @ 2022-11-10 09:26 AI大道理阅读(3117) 评论(0) 推荐(0)