08 2018 档案

残差网络
摘要：恢复内容开始 景 （1）为什么残差学习的效果会如此好？与其他论文相比，深度残差学习具有更深的网络结构，此外，残差学习也是网络变深的原因，为什么网络深度如此重要？ 解答：一般认为神经网络的每一层分别对应于提取不同层次的特征信息，有低层，中层和高层，而网络越深的时候，提取到的不同层次的信息会越多，而不同 阅读全文
posted @ 2018-08-31 11:13 我们都是大好青年 阅读(2694) 评论(0) 推荐(0)
GBDT为什么不能并行，XGBoost却可以
摘要：传统的GBDT是以CART作为基分类器，xgboost还支持线性分类器，这个时候XGBOOST相当于带L1和L2正则化的逻辑斯蒂回归（分类问题）或者线性回归（回归问题）。传统的GBDT在优化的hih只用到一阶导数信息，xgboost则对代价函数进行了二阶泰勒展开，同时用到了一阶和二阶导数。顺便提一下 阅读全文
posted @ 2018-08-27 10:42 我们都是大好青年 阅读(8592) 评论(1) 推荐(0)
百融金服、趣店、中航信面试总结
摘要：百融金服： 总体面试官很好，一共三个人面我，一个leader，两个员工，一起面： 自我介绍基本必不可少 1、逻辑回归的推导 2、参加竞赛的讲述（要细致，我每次面试都会带上纸和笔方便讲述） 3、项目的评判标准 4、GBDT为什么不能并行 5、XGBoost的用途，怎么用？ 基本就问这三大类，但是很注重 阅读全文
posted @ 2018-08-27 09:52 我们都是大好青年 阅读(1448) 评论(0) 推荐(0)
机器学习常见的优化算法
摘要：1、梯度下降法 梯度下降法是最早最简单的，也是最为常用的最优化算法。梯度下降法实现简单，当目标函数是凸函数时，梯度下降法的解是全局解。一般情况下，其解不保证是全局最优解，梯度下降法的速度未必是最快的。梯度下降法的优化思想是用当前位置负梯度方向作为搜索方向，因为该方向为当前位置的最快下降方向，所以也被 阅读全文
posted @ 2018-08-27 09:24 我们都是大好青年 阅读(3026) 评论(0) 推荐(1)
排序算法的python实现
摘要：本文用python实现了插入排序、希尔排序、冒泡排序、快速排序、直接选择排序、堆排序、归并排序、基数排序。 1、插入排序 插入排序的基本操作就是将一个数据插入到已经排好序的有序数据中，从而的到一个新的、个数加一的有序数据，算法适用于少量的数据的排序，时间复杂度为O(n^2)，是稳定的排序方法。插入算 阅读全文
posted @ 2018-08-26 21:43 我们都是大好青年 阅读(232) 评论(0) 推荐(0)
优信数据挖掘实习生面试经验
只有注册用户登录后才能阅读该文。
posted @ 2018-08-08 15:02 我们都是大好青年 阅读(11) 评论(0) 推荐(0)
数据挖掘十大经典算法
摘要：1、c4.5 c4.5算法是机器学习算法中的一种分类决策树算法，其核心是ID3算法，c4.5算法继承了ID3算法的优点，并在一下几个放米娜对ID3算法进行了改进： 1）用信息增益率来选择属性，克服了用信息增益选择属性时偏向选择取值多的属性的不足。 2）在树构造过程中进行剪枝。 3）能够完成对不连续属 阅读全文
posted @ 2018-08-07 22:09 我们都是大好青年 阅读(454) 评论(0) 推荐(0)
GBDT算法简述
摘要：提升决策树GBDT 梯度提升决策树算法是近年来被提及较多的一个算法，这主要得益于其算法的性能，以及该算法在各类数据挖掘以及机器学习比赛中的卓越表现，有很多人对GBDT算法进行了开源代码的开发，比较火的是陈天奇的XGBoost和微软的LightGBM 一、监督学习 1、 监督学习的主要任务 监督学习是 阅读全文
posted @ 2018-08-05 12:57 我们都是大好青年 阅读(2597) 评论(0) 推荐(0)
随机森林入门与实战
摘要：前言 集成学习是通过构建并结合多个学习器来完成学习任务，主要包含两类，一是 个体学习器间 存在 强依赖关系、必须串行生成得序列化方法，比如提升学习方法、提升树GBDT、xgboost等，主要思想是boosting迭代将弱学习器提升为强学习器；二是个体学习器之间不存在强依赖关系、可同时生成得并行化方法 阅读全文
posted @ 2018-08-03 16:48 我们都是大好青年 阅读(1263) 评论(0) 推荐(0)
主成分分析PCA
摘要：PCA操作流程 1、去平均值，每一位特征减去均值，（当然，为了避免量纲以及数据量级差异的影响，先标准化是必要的） 2、计算协方差矩阵 3、计算协方差矩阵的特征值与特征向量 4、对特征值从大到小排序 5、保留最大的几个特征向量 6、将数据转换到特征特征向量构建的新空间中 阅读全文
posted @ 2018-08-03 11:47 我们都是大好青年 阅读(188) 评论(0) 推荐(0)
RF,GBDT,XGBoost,lightGBM的对比
摘要：转载地址：https://blog.csdn.net/u014248127/article/details/79015803 RF,GBDT,XGBoost,lightGBM都属于集成学习（Ensemble Learning），集成学习的目的是通过结合多个基学习器的预测结果来改善基本学习器的泛化能力 阅读全文
posted @ 2018-08-01 12:05 我们都是大好青年 阅读(3011) 评论(0) 推荐(0)
如何看待微软新开源的LightGBM？
摘要：GBDT虽然是个强力的模型，但却有着一个致命的缺陷，不能用类似mini batch的方式来训练，需要对数据进行无数次的遍历。如果想要速度，就需要把数据都预加载在内存中，但这样数据就会受限于内存的大小；如果想要训练更多的数据，就要使用外存版本的决策树算法。虽然外存算法也有较多优化，SSD也在普及，但在 阅读全文
posted @ 2018-08-01 12:03 我们都是大好青年 阅读(395) 评论(0) 推荐(0)