2018 年 11月 6 日随笔档案 - 知识的容量瓶

2018年11月6日

Challenges and Key Techniques for Deep Learning

摘要：一、深度学习常见的一些挑战 1、如何决定深层神经网络的架构（网络层数和神经元数目） 2、如何解决模型复杂度过高问题 3、如何实现深层神经网络的最优化问题 4、如何结果巨大计算量的问题二、逐层预训练（pre-training）启发式思路：一个深层网络如果需要成功学习好，那么initial时的wei 阅读全文

posted @ 2018-11-06 20:55 知识的容量瓶阅读(101) 评论(0) 推荐(0)

传统神经网络中常用的regularization方法

摘要： 1、basic choice （1）通过一定的方式来缩小权重（2）通过一定的方式将部分权重置为0 （3）weight-elimination regulizer 2、Early Stoppping Early stopping方法可以控制VC dimension的大小，具体可结合validatio 阅读全文

posted @ 2018-11-06 18:07 知识的容量瓶阅读(653) 评论(0) 推荐(0)