随笔分类 -  论文阅读

论文阅读：《DARTS: Differentiable Architecture Search》（阅读中）
摘要：pdf 方法 拓扑结构 首先我们作一张有向无环图。图中节点记为$x^{(i)}\(，表示数据的某种潜在表达，例如一个特征图；边记为\)(i,j)$，边的意义记作$o^{(i,j)}$，可认为是“操作”。 \(x^{(j)}=\sum_{i<j}o^{(i,j)}(x^{(i)})\) 也就是说，每一 阅读全文
posted @ 2021-11-24 18:06 小玄不要说话 阅读(128) 评论(0) 推荐(0)
论文阅读：《SMU: Smooth Activation Function For Deep Networks Using Smoothing Maximun Technique》（阅读中）
摘要：pdf 阅读全文
posted @ 2021-11-23 16:40 小玄不要说话 阅读(63) 评论(0) 推荐(0)
论文阅读：《Efficient Neural Architecture Search via Parameter Sharing》
摘要：pdf 《Efficient Neural Architecture Search via Parameter Sharing》 Hieu Pham · Melody Y. Guan · Barret Zoph · Quoc V. Le · Jeff Dean 2018-02-12 ICML 202 阅读全文
posted @ 2021-11-23 13:53 小玄不要说话 阅读(238) 评论(0) 推荐(0)
论文阅读：《Nas-bench-101: Towards reproducible neural architecture search》（阅读中）
摘要：pdf 2019年 有关NAS本身的简介就跳过了。 本文的NAS-Bench-101数据集是第一个基于NAS的架构数据集。 NASBench dataset NAS-Bench-101内部是一个表格，表格中是NA和其评估标准（比如识别准确度之类的指标）。 大多数NAS方法都是基于cifar-10图像 阅读全文
posted @ 2021-11-20 11:40 小玄不要说话 阅读(300) 评论(0) 推荐(0)
论文阅读：《Generalization Guarantees for Neural Architecture Search with Train-Validation Split》（阅读中）
摘要：pdf 相当长，69页，体量相当于一篇综述了。 标题释义：具有训练-验证拆分的神经架构搜索的泛化保证 介绍 HPO：Hyperparameter optimization，超参数优化。 NAS：Neural Architecture Search，神经架构搜索。 NAS是一种特殊的HPO。 NAS/ 阅读全文
posted @ 2021-11-19 14:23 小玄不要说话 阅读(141) 评论(0) 推荐(0)
论文阅读：《iDARTS: Differentiable Architecture Search with Stochastic Implicit Gradients》（重点阅读中）
摘要：pdf 阅读全文
posted @ 2021-11-19 14:20 小玄不要说话 阅读(75) 评论(0) 推荐(0)
论文阅读：《Neural Architecture Search without Training》（阅读中）
摘要：pdf 说明 论文阅读以理解转述为主，不进行大段的翻译工作。 摘要 手工设计deep neural network耗时耗力。 NAS（Neural Architecture Search，神经架构搜索）技术应运而生。 然而，NAS也很慢很贵（贵指时间、算力上的贵）。主要原因是，每当NAS搜索出一个架 阅读全文
posted @ 2021-11-19 12:22 小玄不要说话 阅读(378) 评论(0) 推荐(0)