摘要：
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。 本文链接：https://blog.csdn.net/qq_39422642/article/details/78730662 <!-- flowchart 箭头图标 勿删 --> 这篇文章主要 阅读全文
posted @ 2019-08-29 19:55
知识天地
阅读(1381)
评论(0)
推荐(0)
摘要：
这几天面试经常被问到BN层的原理，虽然回答上来了，但还是感觉答得不是很好，今天仔细研究了一下Batch Normalization的原理，以下为参考网上几篇文章总结得出。 Batch Normalization作为最近一年来DL的重要成果，已经广泛被证明其有效性和重要性。虽然有些细节处理还解释不清其 阅读全文
posted @ 2019-08-26 16:19
知识天地
阅读(395)
评论(0)
推荐(0)
摘要：
一、简介 贝叶斯优化用于机器学习调参由J. Snoek(2012)提出，主要思想是，给定优化的目标函数(广义的函数，只需指定输入和输出即可，无需知道内部结构以及数学性质)，通过不断地添加样本点来更新目标函数的后验分布(高斯过程,直到后验分布基本贴合于真实分布。简单的说，就是考虑了上一次参数的信息** 阅读全文
posted @ 2019-08-26 11:11
知识天地
阅读(2202)
评论(1)
推荐(0)
摘要：
完整机器学习实现代码GitHub欢迎转载，转载请注明出处https://www.cnblogs.com/huangyc/p/10111234.html欢迎沟通交流： 339408769@qq.com 0. 目录 1. 前言 2. 深度学习中的主要参数 3. 自动调参 3.1 Gird Search 阅读全文
posted @ 2019-08-26 10:05
知识天地
阅读(957)
评论(0)
推荐(0)
摘要：
做dl也有一段时间了，积累了一些经验，也在网上看到一些别人的经验。 为了面试，结合知乎上面的问答，我也总结了一下，欢迎大家补充。 知乎 深度学习调参有哪些技巧？ 一. 初始化 有人用normal初始化cnn的参数，最后acc只能到70%多，仅仅改成xavier，acc可以到98%。 二.从理解CNN 阅读全文
posted @ 2019-08-22 12:30
知识天地
阅读(1102)
评论(0)
推荐(0)
摘要：
原 十、如何选择神经网络的超参数 2017年08月18日 10:33:06 独孤呆博 阅读数 21041 版权声明：本文为博主原创文章，遵循 CC 4.0 by-sa 版权协议，转载请附上原文出处链接和本声明。 本文链接：https://blog.csdn.net/dugudaibo/article 阅读全文
posted @ 2019-08-22 12:28
知识天地
阅读(1333)
评论(0)
推荐(0)
摘要：
本文转载自:https://zhuanlan.zhihu.com/p/24720954?utm_source=zhihu&utm_medium=social 转载请注明：炼丹实验室 之前曾经写过一篇文章，讲了一些深度学习训练的技巧，其中包含了部分调参心得：深度学习训练心得。不过由于一般深度学习实验， 阅读全文
posted @ 2019-08-22 12:28
知识天地
阅读(1159)
评论(0)
推荐(1)
摘要：
超参数（Hyper-Parameter)是困扰神经网络训练的问题之一，因为这些参数不可通过常规方法学习获得。 神经网络经典五大超参数: 学习率(Leraning Rate)、权值初始化(Weight Initialization)、网络层数(Layers) 单层神经元数(Units)、正则惩罚项（R 阅读全文
posted @ 2019-08-22 12:25
知识天地
阅读(586)
评论(0)
推荐(0)
摘要：
经常会被问到你用深度学习训练模型时怎么样改善你的结果呢？然后每次都懵逼了，一是自己懂的不多，二是实验的不多，三是记性不行忘记了。所以写这篇博客，记录下别人以及自己的一些经验。 Ilya Sutskever（Hinton的学生）讲述了有关深度学习的见解及实用建议： 获取数据：确保要有高质量的输入/输出 阅读全文
posted @ 2019-08-22 12:23
知识天地
阅读(914)
评论(0)
推荐(0)
摘要：
面对一个图像分类问题，可以有以下步骤： 1.建立一个简单的CNN模型，一方面能够快速地run一个模型，以了解这个任务的难度 卷积层1：卷积核大小3*3，卷积核移动步长1，卷积核个数64，池化大小2*2，池化步长2，池化类型为最大池化，激活函数ReLU。 卷积层2：卷积核大小3*3，卷积核移动步长1， 阅读全文
posted @ 2019-08-22 12:22
知识天地
阅读(764)
评论(0)
推荐(0)
浙公网安备 33010602011771号