馒头and花卷

2020年4月23日

[Box] Robust Training and Initialization of Deep Neural Networks: An Adaptive Basis Viewpoint

摘要： Cyr E C, Gulian M, Patel R G, et al. Robust Training and Initialization of Deep Neural Networks: An Adaptive Basis Viewpoint.[J]. arXiv: Learning, 201 阅读全文

posted @ 2020-04-23 14:53 馒头and花卷阅读(277) 评论(0) 推荐(0)

[Kaiming]Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification

摘要： He K, Zhang X, Ren S, et al. Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification[C]. international conference 阅读全文

posted @ 2020-04-23 13:19 馒头and花卷阅读(479) 评论(0) 推荐(0)

[Xavier] Understanding the difficulty of training deep feedforward neural networks

摘要： Glorot X, Bengio Y. Understanding the difficulty of training deep feedforward neural networks[C]. international conference on artificial intelligence 阅读全文

posted @ 2020-04-23 10:51 馒头and花卷阅读(457) 评论(0) 推荐(0)

2020年4月22日

卷积

摘要：整理一下, 关于卷积层梯度反向传递的过程. 参考参考注: $s\not=1$的部分是自己推得, 可能是错的(自己想了很久, 感觉错的机会不大). 符号输入: $x \in \mathbb{R}^{N \times C \times H \times W}$; 权重: \(w \in \ma 阅读全文

posted @ 2020-04-22 22:24 馒头and花卷阅读(267) 评论(0) 推荐(0)

2020年4月16日

Geometric GAN

摘要： [TOC] "Jae Hyun Lim, Jong Chul Ye, Geometric GAN." 概很有趣, GAN的训练过程可以分成 1. 寻找一个超平面区分real和fake; 2. 训练判别器, 使得real和fake分得更开; 3. 训练生成器, 使得real趋向错分一侧. 主要内容阅读全文

posted @ 2020-04-16 22:26 馒头and花卷阅读(929) 评论(0) 推荐(0)

McGan: Mean and Covariance Feature Matching GAN

摘要： Mroueh Y, Sercu T, Goel V, et al. McGan: Mean and Covariance Feature Matching GAN[J]. arXiv: Learning, 2017. @article{mroueh2017mcgan:, title=, author 阅读全文

posted @ 2020-04-16 21:07 馒头and花卷阅读(620) 评论(0) 推荐(0)

2020年4月14日

One Pixel Attack for Fooling Deep Neural Networks

摘要： Su J, Vargas D V, Sakurai K, et al. One Pixel Attack for Fooling Deep Neural Networks[J]. IEEE Transactions on Evolutionary Computation, 2019, 23(5): 阅读全文

posted @ 2020-04-14 14:41 馒头and花卷阅读(357) 评论(0) 推荐(0)

2020年4月13日

Differential Evolution: A Survey of the State-of-the-Art

摘要： @ Das S, Suganthan P N. Differential Evolution: A Survey of the State-of-the-Art[J]. IEEE Transactions on Evolutionary Computation, 2011, 15(1): 4-31. 阅读全文

posted @ 2020-04-13 23:43 馒头and花卷阅读(577) 评论(0) 推荐(0)

2020年4月9日

DEEP DOUBLE DESCENT: WHERE BIGGER MODELS AND MORE DATA HURT

摘要： Nakkiran P, Kaplun G, Bansal Y, et al. Deep Double Descent: Where Bigger Models and More Data Hurt[J]. arXiv: Learning, 2019. @article{nakkiran2019dee 阅读全文

posted @ 2020-04-09 22:31 馒头and花卷阅读(543) 评论(0) 推荐(0)

2020年4月8日

Gradient-based Hyperparameter Optimization through Reversible Learning

摘要： Maclaurin D, Duvenaud D, Adams R P, et al. Gradient-based Hyperparameter Optimization through Reversible Learning[J]. arXiv: Machine Learning, 2015. @ 阅读全文

posted @ 2020-04-08 16:56 馒头and花卷阅读(394) 评论(0) 推荐(0)

Towards Evaluating the Robustness of Neural Networks

摘要： Nicholas Carlini, David Wagner, Towards Evaluating the Robustness of Neural Networks 概提出了在不同范数下$\ell_0, \ell_2, \ell_{\infty}$下生成adversarial samples的阅读全文

posted @ 2020-04-08 16:54 馒头and花卷阅读(795) 评论(0) 推荐(0)

Distillation as a Defense to Adversarial Perturbations against Deep Neural Networks

摘要： Nicolas Papernot, Patrick McDaniel, Xi Wu, Somesh Jha, Ananthram Swami, Distillation as a Defense to Adversarial Perturbations against Deep Neural Net 阅读全文

posted @ 2020-04-08 16:50 馒头and花卷阅读(423) 评论(1) 推荐(0)

2020年4月2日

Auto-Encoding Variational Bayes

摘要： Kingma D P, Welling M. Auto-Encoding Variational Bayes[J]. arXiv: Machine Learning, 2013. 主要内容自编码, 通过引入Encoder和Decoder来估计联合分布$p(x,z)$, 其中$z$表示隐变量(我们也阅读全文

posted @ 2020-04-02 19:04 馒头and花卷阅读(1019) 评论(0) 推荐(0)

2020年3月26日

Adaptive gradient descent without descent

摘要： [TOC] "Malitsky Y, Mishchenko K. Adaptive gradient descent without descent[J]. arXiv: Optimization and Control, 2019." 概本文提出了一种自适应步长的梯度下降方法(以及多个变种方法) 阅读全文

posted @ 2020-03-26 22:02 馒头and花卷阅读(460) 评论(0) 推荐(0)

2020年3月24日

AUGMIX : A SIMPLE DATA PROCESSING METHOD TO IMPROVE ROBUSTNESS AND UNCERTAINTY

摘要： Dan Hendrycks, Norman Mu,, et. al, AUGMIX : A SIMPLE DATA PROCESSING METHOD TO IMPROVE ROBUSTNESS AND UNCERTAINTY. 概本文介绍AUGMIX算法——对现有的的一些augmentation 阅读全文

posted @ 2020-03-24 13:49 馒头and花卷阅读(650) 评论(0) 推荐(0)

2020年3月23日

图片 Augmentation整理

摘要： [TOC] Augmentation 原图: Flipping 翻转 Grayscale Equalize 均衡直方图 Posterize 减少颜色通道位数 Cropping Rotation Translation Noise injection Hue 色调 Brightness Saturat 阅读全文

posted @ 2020-03-23 21:18 馒头and花卷阅读(495) 评论(0) 推荐(0)

2020年3月22日

KKT (LICQ)

摘要： [TOC] "H. E. Krogstad, TMA 4180 Optimeringsteori KARUSH KUHN TUCKER THEOREM" KKT条件在处理有约束问题的时候很有用, 但是对KKT的适用性一直不是很理解, 看了这篇讲解整理一下. 基本内容问题 $$ \tag{1} \m 阅读全文

posted @ 2020-03-22 10:35 馒头and花卷阅读(2627) 评论(1) 推荐(0)

2020年3月19日

Bayesian Optimization with a Finite Budget: An Approximate Dynamic Programming Approach

摘要： [TOC] Lam R, Willcox K, Wolpert D H, et al. Bayesian Optimization with a Finite Budget: An Approximate Dynamic Programming Approach[C]. neural informa 阅读全文

posted @ 2020-03-19 22:28 馒头and花卷阅读(234) 评论(0) 推荐(0)

Entropy Search for Information-Efficient Global Optimization

摘要： [TOC] "Hennig P, Schuler C J. Entropy search for information efficient global optimization[J]. Journal of Machine Learning Research, 2012, 13(1): 1809 阅读全文

posted @ 2020-03-19 16:48 馒头and花卷阅读(318) 评论(0) 推荐(0)

2020年3月12日

Adversarial Examples Improve Image Recognition

摘要： Xie C, Tan M, Gong B, et al. Adversarial Examples Improve Image Recognition.[J]. arXiv: Computer Vision and Pattern Recognition, 2019. @article{xie201 阅读全文

posted @ 2020-03-12 14:59 馒头and花卷阅读(1326) 评论(0) 推荐(0)

公告