随笔 - 2107  文章 - 2 评论 - 164 trackbacks - 0

摘要:这里以二元分类为例子,给出最基本原理的解释 GBDT 是多棵树的输出预测值的累加 GBDT的树都是 回归树 而不是分类树 分类树 分裂的时候选取使得误差下降最多的分裂 计算的技巧 最终分裂收益按照下面的方式计算,注意圆圈内的部分是固定值 GBDT 二分类 GBDT在实现中可以完全复用上面的计算方法框 阅读全文
posted @ 2016-10-10 18:21 知识天地 阅读 (324) 评论 (1) 编辑
摘要:版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。 本文链接:https://blog.csdn.net/limiyudianzi/article/details/80697711 我主要分三篇文章给大家介绍tensorflow的损失函数,本篇为 阅读全文
posted @ 2019-09-05 09:48 知识天地 阅读 (33) 评论 (0) 编辑
摘要:版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。 本文链接:https://blog.csdn.net/u010899985/article/details/81836299 梯度下降算法针对凸优化问题原则上是可以收敛到全局最优的,因为此时只有 阅读全文
posted @ 2019-09-05 09:41 知识天地 阅读 (38) 评论 (0) 编辑
摘要:在调整模型更新权重和偏差参数的方式时,你是否考虑过哪种优化算法能使模型产生更好且更快的效果?应该用梯度下降,随机梯度下降,还是Adam方法? 这篇文章介绍了不同优化算法之间的主要区别,以及如何选择最佳的优化方法。 什么是优化算法? 优化算法的功能,是通过改善训练方式,来最小化(或最大化)损失函数E( 阅读全文
posted @ 2019-09-05 09:36 知识天地 阅读 (21) 评论 (0) 编辑
摘要:本文记录几个在广告和推荐里面rank阶段常用的模型。广告领域机器学习问题的输入其实很大程度了影响了模型的选择,因为输入一般维度非常高,稀疏,同时包含连续性特征和离散型特征。模型即使到现在DeepFM类的方法,其实也都很简单。模型的发展主要体现于对特征的充分挖掘上,比如利用低阶和高阶特征、尝试自动学习 阅读全文
posted @ 2019-09-04 21:51 知识天地 阅读 (47) 评论 (0) 编辑
摘要:使用机器学习排序算法LambdaMART有一段时间了,但一直没有真正弄清楚算法中的所有细节。 学习过程中细读了两篇不错的博文,推荐给大家: 梯度提升树(GBDT)原理小结 徐博From RankNet to LambdaRank to LambdaMART: An Overview 但经过一番搜寻之 阅读全文
posted @ 2019-08-30 08:24 知识天地 阅读 (20) 评论 (0) 编辑
摘要:http://blog.csdn.net/pipisorry/article/details/45665779 主题模型LDA的应用 拿到这些topic后继续后面的这些应用怎么做呢:除了推断出这些主题,LDA还可以推断每篇文章在主题上的分布。例如,X文章大概有60%在讨论“空间探索”,30%关于“电 阅读全文
posted @ 2019-08-29 20:15 知识天地 阅读 (17) 评论 (0) 编辑
摘要:版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。 本文链接:https://blog.csdn.net/qq_39422642/article/details/78730662 <!-- flowchart 箭头图标 勿删 --> 这篇文章主要 阅读全文
posted @ 2019-08-29 19:55 知识天地 阅读 (16) 评论 (0) 编辑
摘要:这几天面试经常被问到BN层的原理,虽然回答上来了,但还是感觉答得不是很好,今天仔细研究了一下Batch Normalization的原理,以下为参考网上几篇文章总结得出。 Batch Normalization作为最近一年来DL的重要成果,已经广泛被证明其有效性和重要性。虽然有些细节处理还解释不清其 阅读全文
posted @ 2019-08-26 16:19 知识天地 阅读 (11) 评论 (0) 编辑
摘要:一、简介 贝叶斯优化用于机器学习调参由J. Snoek(2012)提出,主要思想是,给定优化的目标函数(广义的函数,只需指定输入和输出即可,无需知道内部结构以及数学性质),通过不断地添加样本点来更新目标函数的后验分布(高斯过程,直到后验分布基本贴合于真实分布。简单的说,就是考虑了上一次参数的信息** 阅读全文
posted @ 2019-08-26 11:11 知识天地 阅读 (32) 评论 (1) 编辑
摘要:完整机器学习实现代码GitHub欢迎转载,转载请注明出处https://www.cnblogs.com/huangyc/p/10111234.html欢迎沟通交流: 339408769@qq.com 0. 目录 1. 前言 2. 深度学习中的主要参数 3. 自动调参 3.1 Gird Search 阅读全文
posted @ 2019-08-26 10:05 知识天地 阅读 (12) 评论 (0) 编辑