摘要: AlexeyAB大神继承了YOLOv3, 在其基础上进行持续开发,将其命名为YOLOv4。并且得到YOLOv3作者Joseph Redmon的承认,下面是Darknet原作者的在readme中更新的声明。 来看看YOLOv4和一些SOTA模型的对比,YOLOv4要比YOLOv3提高了近10个点。 1 阅读全文
posted @ 2020-04-25 07:57 pprp 阅读(21893) 评论(4) 推荐(2) 编辑
摘要: 1. 环境搭建 将github库download下来。 git clone https://github.com/ultralytics/yolov3.git 建议在linux环境下使用anaconda进行搭建 conda create -n yolov3 python=3.7 安装需要的软件 pi 阅读全文
posted @ 2019-05-14 17:35 pprp 阅读(41578) 评论(121) 推荐(8) 编辑
摘要: Python工具 1. argparse import argparse parser = argparse.ArgumentParser(description="descriptions") parser.add_argument('--angle',type=int,default=0) pa 阅读全文
posted @ 2019-03-29 22:37 pprp 阅读(804) 评论(0) 推荐(0) 编辑
摘要: 深度学习环境搭建:Tensorflow1.4.0+Ubuntu16.04+Python3.5+Cuda8.0+Cudnn6.0 Reference https://zhuanlan.zhihu.com/p/31430631?utm_source=com.tencent.tim&utm_medium= 阅读全文
posted @ 2018-08-12 19:06 pprp 阅读(5776) 评论(0) 推荐(1) 编辑
摘要: 论文 查询接受率的网站:https://www.openresearch.org/wiki/Main_Page LaTeX 图片转代码!! 点这里mathF https://web.baimiaoapp.com/image-to-latex 目标检测标注原则 https://www.cnblogs. 阅读全文
posted @ 2018-04-19 10:16 pprp 阅读(903) 评论(0) 推荐(0) 编辑
摘要: 知识蒸馏综述: 知识的类型 【GiantPandCV引言】简单总结一篇综述《Knowledge Distillation A Survey》中的内容,提取关键部分以及感兴趣部分进行汇总。这篇是知识蒸馏综述的第一篇,主要内容为知识蒸馏中知识的分类,包括基于响应的知识、基于特征的知识和基于关系的知识。 阅读全文
posted @ 2021-11-28 09:49 pprp 阅读(9) 评论(0) 推荐(0) 编辑
摘要: 【GiantPandaCV引言】 知识回顾(KR)发现学生网络深层可以通过利用教师网络浅层特征进行学习,基于此提出了回顾机制,包括ABF和HCL两个模块,可以在很多分类任务上得到一致性的提升。 摘要 知识蒸馏通过将知识从教师网络传递到学生网络,但是之前的方法主要关注提出特征变换和实施相同层的特征。 阅读全文
posted @ 2021-11-21 16:53 pprp 阅读(7) 评论(0) 推荐(0) 编辑
摘要: 【GiantPandaCV导语】Deep Mutual Learning是Knowledge Distillation的外延,经过测试(代码来自Knowledge-Distillation-Zoo), Deep Mutual Learning性能确实超出了原始KD很多,所以本文分析这篇CVPR201 阅读全文
posted @ 2021-11-16 22:09 pprp 阅读(19) 评论(0) 推荐(0) 编辑
摘要: 【GiantPandaCV导语】本文介绍的如何更好地集成教师网络,从而更好地提取知识到学生网络,提升学生网络的学习能力和学习效率。从方法上来讲是模型集成+神经网络结构搜索+知识蒸馏的综合问题,在这里使用简单的NAS来降低教师网络与学生网络之间的差距。 背景介绍 解决的问题? 希望从集成的教师网络中提 阅读全文
posted @ 2021-11-11 15:53 pprp 阅读(7) 评论(0) 推荐(0) 编辑
摘要: 【GiantPandaCV导语】调研分类方法的时候师姐推荐的一篇paper,其核心是训练的时候使用小分辨率,测试的时候使用大分辨率(训练分辨率的1.15倍),能够有效提升验证精度。 Motivation ImageNet数据集分类模型通常采用的数据增强方式会导致训练时和测试时的模型看到的目标尺寸出现 阅读全文
posted @ 2021-11-08 16:54 pprp 阅读(13) 评论(0) 推荐(0) 编辑
摘要: 【GiantPandaCV导语】相比于普通的分类网络,基于超网的NAS更加难以训练,会出现收敛效果较差甚至不收敛的情况。并且,基于超网的NAS还需要额外关注子网的排序一致性等问题,训练策略的选择也极为重要。AutoSlim, BigNAS等文章都花费了大量篇幅来讲解超网的训练技巧。本文是CVPR20 阅读全文
posted @ 2021-11-05 09:44 pprp 阅读(8) 评论(0) 推荐(0) 编辑
摘要: 【GiantPandaCV导语】本文介绍的是NAS中的一个benchmark-NASBench301, 由automl.org组织发表,其核心思想是针对表格型基准存在的不足提出使用代理模型拟合架构与对应准确率。 Paper: NAS-Bench-301 and The case for surrog 阅读全文
posted @ 2021-11-01 08:16 pprp 阅读(27) 评论(0) 推荐(0) 编辑
摘要: png图片缺乏某些库,导致损坏,或者多余了一些数据会导致以下报错: libpng warning: iCCP: known incorrect sRGB profile libpng warning iccp extra compressed data 一些可能的解决方案: 已有方案 来自:http 阅读全文
posted @ 2021-10-30 19:20 pprp 阅读(86) 评论(0) 推荐(0) 编辑
摘要: 【GiantPandaCV导语】本文介绍的是韩松团队针对欠拟合问题提出的一种解决方案,在代价可接受范围内能够提升小模型的性能。 引入 专用于解决小型网络模型欠拟合 带来的问题,通过引入更大的模型包围住小模型从而得到额外的监督信息。欠拟合情况下使用正则化方法进行处理会导致性能更差。 NetAug适用场 阅读全文
posted @ 2021-10-28 14:16 pprp 阅读(33) 评论(0) 推荐(0) 编辑
摘要: 1. 概念解释 基础部件是session(会话) 每个会话可以创建多个window(窗口) 每个窗口可以划分多个pane(窗格) 2. 常用命令解释 tmux的退出 : ctrl + d 或者 exit命令 tmux前缀键:Ctrl+b+x - x=? 的时候是帮助信息(按q退出) - x=d 分离 阅读全文
posted @ 2021-10-16 10:52 pprp 阅读(28) 评论(0) 推荐(0) 编辑
摘要: 【GiantPandaCV导语】知识蒸馏结合NAS的一篇工作,提出了DNA,让教师网络来指导超网的学习。这个工作将知识蒸馏非常深入的融合在一起,有很强的创新性,已被CVPR20接收。 1. 背景介绍 知识蒸馏通常作为One-Shot NAS中的一个训练技巧,但是他起到非常大的作用。 简便起见,知识蒸 阅读全文
posted @ 2021-09-27 15:31 pprp 阅读(38) 评论(0) 推荐(0) 编辑
摘要: 题目:Training data-efficient image transformers & distillation through attention 【GiantPandaCV导语】Deit是一个全Transformer的架构,没有使用任何的卷及操作。其核心是将蒸馏方法引入VIT的训练,引入 阅读全文
posted @ 2021-09-24 10:19 pprp 阅读(181) 评论(0) 推荐(0) 编辑
摘要: 【GiantPandaCV导语】这篇是Slimmable Network三部曲之后的续作,提出了Single-Stage的超网训练方法,在更大的搜索空间中,提出了很多训练的Trick来提升训练效果以及稳定训练过程。 0. Info Title: BigNAS: Scaling Up Neural A 阅读全文
posted @ 2021-09-17 10:12 pprp 阅读(39) 评论(0) 推荐(0) 编辑
摘要: 【GiantPandaCV导读】learning rate对模型调优重要性不言而喻,想到超参数调优第一个可能想到的方法就是网格搜索Grid Search,但是这种方法需要大量的计算资源。之前使用fastai的时候发现其集成了一个功能叫lr_finder(), 可以快速找到合适的学习率,本文就主要分析 阅读全文
posted @ 2021-07-06 09:33 pprp 阅读(217) 评论(0) 推荐(1) 编辑
摘要: 【GiantPandaCV导语】这篇是MIT韩松实验室发布的文章,是第一个直接在ImageNet上进行搜索的NAS算法,并且提出了直接在目标硬件上对latency进行优化的方法。相比于同期算法NASNet、MnasNet等,搜索代价降低了200倍。 0. Info Title: ProxylessN 阅读全文
posted @ 2021-07-01 11:15 pprp 阅读(116) 评论(0) 推荐(0) 编辑
摘要: ICLR 2021 Workshop 接收 Measuring Uncertainty through Bayesian Learning of Deep Neural Network Structure Zhijie Deng, Yucen Luo and Jun Zhu PDF AutoHAS: 阅读全文
posted @ 2021-06-22 09:40 pprp 阅读(210) 评论(0) 推荐(0) 编辑
摘要: Neural Architecture Search with Random Labels Landmark Regularization: Ranking Guided Super-Net Training in Neural Architecture Search AttentiveNAS: I 阅读全文
posted @ 2021-06-22 09:15 pprp 阅读(117) 评论(0) 推荐(0) 编辑
摘要: 1. INFO Title: SMASH: One-Shot Model Architecture Search through HyperNetworks Author: Andrew Brock, Theodore Lim, & J.M. Ritchie Link: https://arxiv. 阅读全文
posted @ 2021-06-21 18:12 pprp 阅读(86) 评论(0) 推荐(0) 编辑
摘要: Transforms从torch1.7开始新增了该特性,之前transform进行数据增强的方式是如下的,i.e. 使用compose的方式: default_configure = T.Compose([ T.RandomCrop(32, 4), T.RandomHorizontalFlip(), 阅读全文
posted @ 2021-06-17 20:45 pprp 阅读(98) 评论(0) 推荐(0) 编辑
摘要: 【GiantPandaCV导语】这学期参加了一个比赛,有比较大的代码量,在这个过程中暴露出来很多问题。由于实验记录很糟糕,导致结果非常混乱、无法进行有效分析,也没能进行有效的回溯。趁比赛完结,打算重构一下代码,顺便参考一些大型项目的管理方法。本文将总结如何高效、标准化管理深度学习实验。以下总结偏个人 阅读全文
posted @ 2021-06-10 09:48 pprp 阅读(226) 评论(0) 推荐(1) 编辑
摘要: 【GiantPandaCV导语】日志对程序执行情况的排查非常重要,通过日志文件,可以快速定位出现的问题。本文将简单介绍使用logging生成日志的方法。 logging模块介绍 logging是python自带的包,一共有五个level: debug: 查看程序运行的信息,调试过程中需要使用。 in 阅读全文
posted @ 2021-06-10 09:12 pprp 阅读(104) 评论(0) 推荐(0) 编辑
摘要: 【GiantPandaCV导语】深度学习调参过程中会遇到很多参数,为了完整保存一个项目的所有配置,推荐使用yaml工具进行配置。 简介 Yaml是可读的数据序列化语言,常用于配置文件。 支持类型有: 标量(字符串、证书、浮点) 列表 关联数组 字典 语法特点: 大小写敏感 缩进表示层级关系 列表通过 阅读全文
posted @ 2021-06-09 09:01 pprp 阅读(139) 评论(0) 推荐(0) 编辑
摘要: ![](https://img2020.cnblogs.com/blog/1161281/202106/1161281-20210605083641510-1135837577.png) 阅读全文
posted @ 2021-06-05 08:37 pprp 阅读(179) 评论(0) 推荐(0) 编辑
摘要: BatchNorm, 批规范化,主要用于解决协方差偏移问题,主要分三部分: 计算batch均值和方差 规范化 仿射affine 算法内容如下: 需要说明几点: 均值和方差是batch的统计特性,pytorch中用running_mean和running_var表示 $\gamma \(和\)\bet 阅读全文
posted @ 2021-05-29 11:03 pprp 阅读(161) 评论(0) 推荐(0) 编辑
摘要: @ [1] 信息检索语言 信息检索语言是用于描述信息系统中的信息的内容特征,常见的信息检索语言包括分类语言和主题语言。就神经网络架构搜索这个问题来说,最好选择主题语言,可以通过借助自然语言,更具有直观性和概念唯一性。而主题语言分为关键词语言和纯自然语言。 选用关键词语言就要挑选神经网络架构搜索的关键 阅读全文
posted @ 2021-05-28 16:14 pprp 阅读(227) 评论(0) 推荐(0) 编辑
摘要: 【GiantPandaCV导语】Once for all是韩松组非常有影响力的工作,其最大的优点是解耦了训练和搜索过程,可以直接从超网中采样出满足一定资源限制的子网,而不需要重新训练。该工作被ICLR20接收。 0. Info Title: Once-for-All: Train one Netwo 阅读全文
posted @ 2021-05-28 14:15 pprp 阅读(124) 评论(0) 推荐(0) 编辑
摘要: 【前言】现在深度学习项目代码量越来越大,并且单个文件的量也非常的大。笔者总结了一些专家的经验并结合自己看的一些项目,打算总结一下如何探索和深入一个深度学习项目库。笔者pprp,未经允许不得擅自转发。 1. 基础知识 首先,需要保证有一定的深度学习基础知识,吴恩达的深度学习课还有斯坦福大学的CS231 阅读全文
posted @ 2021-05-27 21:48 pprp 阅读(313) 评论(0) 推荐(0) 编辑
摘要: Parameter : 模型中的一种可以被反向传播更新的参数。 第一种: 直接通过成员变量nn.Parameter()进行创建,会自动注册到parameter中。 def __init__(self): super(MyModel, self).__init__() self.param = nn. 阅读全文
posted @ 2021-05-27 11:01 pprp 阅读(54) 评论(0) 推荐(0) 编辑
摘要: 【前言】Drop Path是NAS中常用到的一种正则化方法,由于网络训练的过程中常常是动态的,Drop Path就成了一个不错的正则化工具,在FractalNet、NASNet等都有广泛使用。 Dropout Dropout是最早的用于解决过拟合的方法,是所有drop类方法的大前辈。Dropout在 阅读全文
posted @ 2021-05-26 21:50 pprp 阅读(940) 评论(0) 推荐(0) 编辑
摘要: 【GiantPandaCV导语】Google Brain提出的NAS领域的Benchmark,是当时第一个公开的网络架构数据集,用于研究神经网络架构搜索。本文首发GiantPandaCV,请不要随意转载。 0. 摘要 神经网络搜索近年来取得进步巨大,但是由于其需要巨大的计算资源,导致很难去复现实验。 阅读全文
posted @ 2021-05-19 09:22 pprp 阅读(239) 评论(0) 推荐(0) 编辑