随笔分类 -  机器学习算法

交叉熵相关
摘要：1.交叉熵与最大似然估计之间的联系 结论：交叉熵最小即似然值最大，让模型输出的分布尽量能接近训练数据的分布。 参考链接： https://www.zhihu.com/question/65288314/answer/849294209 比如说现在有一个真实分布为 P（x）的随机变量，我们对它进行了N 阅读全文
posted @ 2021-07-30 15:37 Marklong 阅读(160) 评论(0) 推荐(0)
树模型及其衍生
摘要：参考链接：https://zhuanlan.zhihu.com/p/280222403 一GBDT的基础 树的发展 1.CART树可以分为回归树与决策树，其中GBDT中的树是CART回归树， CART回归模型的数学表示如下 2.集成学习 通过构建多个分类器共同成完成学习任务，主要分为bagging和 阅读全文
posted @ 2021-07-23 09:45 Marklong 阅读(119) 评论(0) 推荐(0)
batch_size的作用
摘要：原因： 损失函数在顶层，顶层训练的比较快 数据在底层，数据发生变化，所有都变化，最后那些层需要学习多次，收敛变慢 在改变底部数据时，避免顶部重新训练 作为可学习的b与r， 作用在： 全连接和卷积层的输出上，激活函数前。（bn是线性变化，激活函数增加非线性） 在输入上 全连接，作用在特征维度。 ● 其 阅读全文
posted @ 2021-06-23 20:58 Marklong 阅读(472) 评论(0) 推荐(0)
看论文相关
摘要：找到论文的代码实现 Papers With Code：自动把论文连接到实现代码的 GitHub 资源库和数据集，并根据 GitHub 的收藏量排序。每篇论文可能有多个合并的条目. Github pwc：以相当简洁的列表关联论文和代码实现，包含最新的 NIPS 论文. GitXiv：每个项目可以方便地 阅读全文
posted @ 2021-05-27 10:56 Marklong 阅读(123) 评论(0) 推荐(0)
激活函数一览
摘要：激活函数一览：https://www.cnblogs.com/think90/p/11883739.html 阅读全文
posted @ 2021-05-23 15:51 Marklong 阅读(45) 评论(0) 推荐(0)
线性回归
摘要：由https://www.bilibili.com/video/BV1aE411o7qd?p=12与https://www.bilibili.com/video/BV1aE411o7qd?p=12总结得到 线性回归的思维导图如下： 阅读全文
posted @ 2021-01-02 19:46 Marklong 阅读(68) 评论(0) 推荐(0)