摘要:
随着deep learning的火爆,神经网络(NN)被大家广泛研究使用。但是大部分RD对BP在NN中本质不甚清楚,对于为什这么使用以及国外大牛们是什么原因会想到用dropout/sigmoid/ReLU/change learnRate/momentum/ASGD/vanishment等问题等呢... 阅读全文
摘要:
现状:1. 目前大家对于大部分需求,通常采用multiple layer,units in each layer也是人工订好的(虽然可以做稀疏,但是在same layer范围内竞争)。2. 网络结构(或connection paradigm)常用的有3种: DNN(或DBN)中full con... 阅读全文