随笔分类 - 机器学习常见算法入门
摘要:什么是过拟合 过拟合就是在训练集上表现得非常好,在测试集上表现得不好。也就是我们俗称的泛化能力弱。 过拟合无法避免,只能缓解,那么如何缓解呢?方法太多了。这篇文章一一介绍。 数据集增强Augmentation 图像上,翻转,平移,缩放,旋转,镜像,增强对比度,增强亮度等诸多方式。 我在下面的内容中介
阅读全文
摘要:kd树(k-dimensional树的简称),是一种分割k维数据空间的数据结构,主要应用于多维空间关键数据的近邻查找(Nearest Neighbor)和近似最近邻查找(Approximate Nearest Neighbor)。 一、Kd-tree 其实KDTree就是二叉查找树(Binary S
阅读全文
摘要:关于决策树的purity的计算方法可以参考: 决策树purity/基尼系数/信息增益 Decision Trees 如果有不懂得可以私信我,我给你讲。 ID3 用下面的例子来理解这个算法: 下图为我们的训练集。总共有14个训练样本,每个样本中有4个关于天气的属性,这些属性都是标称值。输出结果只有2个
阅读全文
摘要:1 定义 百度百科的定义: 它是通过把所有地表真实分类中的像元总数(N)乘以混淆矩阵对角线(Xkk)的和,再减去某一类地表真实像元总数与被误分成该类像元总数之积对所有类别求和的结果,再除以总像元数的平方减去某一类中地表真实像元总数与该类中被误分成该类像元总数之积对所有类别求和的结果所得到的。 这对于
阅读全文
摘要:站主近期建立了一个自己的网站来发博文,文章已经搬运到了下面的地址: 决策树purity/基尼系数/信息增益 Decision Trees
阅读全文
摘要:站主近期建立了一个自己的网站来发博文,文章已经搬运到了下面的地址: 【科普入门】概率与分布密度 贝叶斯理论入门 数据挖掘基础入门
阅读全文
摘要:因为本人近期也要紧临毕业,面临招聘面试,所以整体别人公开的面经,做一个整理,并且加上自己认为的答案,欢迎各位读者对答案进行指正和交流。 深度残差的作用 直观上,深度加深,出现梯度消失和梯度爆炸的问题 在论文中,出现了一个奇怪的现象,就是56层网络效果没有20层的好。本质问题是因为网络深造成信息丢失从
阅读全文
摘要:[TOC] 前言 看了很多,发现这个遗传算法,进化算法是一个非常有用的一个方法。而且可解释性远远强于神经网络。之前写了一篇博文,专门讲解基于DEAP库的python编程,来编写遗传算法,但是那一篇主要偏重代码,出于想要深入理解代码的含义,因此专门记下这篇博文,既是笔记,也是分享。 所有的用pytho
阅读全文
摘要:遗传算法GA 本质上有一个固定的长度,这意味着所产生的功能有限的复杂性 通常会产生无效状态,因此需要以非破坏性方式处理这些状态 通常依赖于运算符优先级(例如,在我们的例子中,乘法发生在减法之前),这可以被看作是一种限制 遗传编程GP 本质上具有可变长度,这意味着它们更加灵活,但往往复杂度增加 很少产
阅读全文
摘要:[TOC] 前言 本文不介绍原理的东西,主要是实现 进化算法的python实现 。 原理介绍可以看这里,能学习要很多,我也在这里写了一些感受心得: "遗传算法/遗传编程 进化算法基于python DEAP库深度解析讲解" 1.优化问题的定义 单目标优化 在创建单目标优化问题时,weights用来指示
阅读全文
摘要:[TOC] 粒子群算法(PSO)和遗传算法(GA)都是优化算法,都力图在自然特性的基础上模拟个体种群的适应性,它们都采用一定的变换规则通过搜索空间求解。 PSO和GA的相同点 1. 都属于仿生算法。PSO主要模拟鸟类觅食、人类认知等社会行为而提出;GA主要借用生物进化中“适者生存”的规律。 2. 都
阅读全文
摘要:[TOC] 本篇博文提供了关于GP过程的总结型概览与讨论,旨在帮助初学者建立一个对GP的基础印象。主要参考文献 A Field Guide to Genetic Programming,后文中简写为"Field Guide1"。 文章转载自 "博文" 背景介绍 “物竞天择,优胜劣汰”, 达尔文提出了
阅读全文

浙公网安备 33010602011771号