摘要: 这几天面试经常被问到BN层的原理,虽然回答上来了,但还是感觉答得不是很好,今天仔细研究了一下Batch Normalization的原理,以下为参考网上几篇文章总结得出。 Batch Normalization作为最近一年来DL的重要成果,已经广泛被证明其有效性和重要性。虽然有些细节处理还解释不清其 阅读全文
posted @ 2019-08-26 16:19 知识天地 阅读(373) 评论(0) 推荐(0) 编辑
摘要: 一、简介 贝叶斯优化用于机器学习调参由J. Snoek(2012)提出,主要思想是,给定优化的目标函数(广义的函数,只需指定输入和输出即可,无需知道内部结构以及数学性质),通过不断地添加样本点来更新目标函数的后验分布(高斯过程,直到后验分布基本贴合于真实分布。简单的说,就是考虑了上一次参数的信息** 阅读全文
posted @ 2019-08-26 11:11 知识天地 阅读(2045) 评论(1) 推荐(0) 编辑
摘要: 完整机器学习实现代码GitHub欢迎转载,转载请注明出处https://www.cnblogs.com/huangyc/p/10111234.html欢迎沟通交流: 339408769@qq.com 0. 目录 1. 前言 2. 深度学习中的主要参数 3. 自动调参 3.1 Gird Search 阅读全文
posted @ 2019-08-26 10:05 知识天地 阅读(912) 评论(0) 推荐(0) 编辑