2018年1月31日
GBDT（MART） 迭代决策树入门教程 | 简介
摘要： GBDT（MART） 迭代决策树入门教程 | 简介 在网上看到一篇对从代码层面理解gbdt比较好的文章，转载记录一下： GBDT(Gradient Boosting Decision Tree) 又 叫 MART（Multiple Additive Regression Tree)，是一种迭代的决策 阅读全文
posted @ 2018-01-31 17:48 bonelee 阅读(472) 评论(0) 推荐(0)
local_response_normalization 和 batch_normalization
摘要： Normalization Normalization local_response_normalization local_response_normalization出现在论文”ImageNet Classification with deep Convolutional Neural Netw 阅读全文
posted @ 2018-01-31 15:48 bonelee 阅读(1207) 评论(0) 推荐(0)
交叉熵代价函数——当我们用sigmoid函数作为神经元的激活函数时，最好使用交叉熵代价函数来替代方差代价函数，以避免训练过程太慢
摘要： 交叉熵代价函数 machine learning算法中用得很多的交叉熵代价函数。 1.从方差代价函数说起 代价函数经常用方差代价函数（即采用均方误差MSE），比如对于一个神经元（单输入单输出，sigmoid函数）,定义其代价函数为： 其中y是我们期望的输出，a为神经元的实际输出【 a=σ(z), w 阅读全文
posted @ 2018-01-31 15:38 bonelee 阅读(1569) 评论(0) 推荐(0)
深度学习必备：随机梯度下降（SGD）优化算法及可视化
摘要： 补充在前：实际上在我使用LSTM为流量基线建模时候，发现有效的激活函数是elu、relu、linear、prelu、leaky_relu、softplus，对应的梯度算法是adam、mom、rmsprop、sgd，效果最好的组合是：prelu+rmsprop。我的代码如下： 梯度下降算法是机器学习中 阅读全文
posted @ 2018-01-31 15:12 bonelee 阅读(68838) 评论(0) 推荐(5)
我在Suse 11 Sp3上使用anaconda安装TensorFlow的过程记录
摘要： 成功后： python import tflearn 没有任何错误 阅读全文
posted @ 2018-01-31 10:47 bonelee 阅读(1476) 评论(1) 推荐(0)