随笔分类 - 机器学习
摘要：python package : https://github.com/mwburke/xgboost python deploy pred1 pred2 diff 33243 0.515672 0.515672 1.635301e 08 15742 0.478694 0.478694 3.4686
阅读全文
摘要：GBM如何调参：https://www.analyticsvidhya.com/blog/2016/02/complete-guide-parameter-tuning-gradient-boosting-gbm-python/ XGBoost 应该如何调参：https://www.analytic
阅读全文
摘要：原作者：陈成龙 https://github.com/ChenglongChen 简介 Kaggle 于 2010 年创立，专注数据科学，机器学习竞赛的举办，是全球最大的数据科学社区和数据竞赛平台。笔者从 2013 年开始，陆续参加了多场 Kaggle上面举办的比赛，相继获得了 CrowdFlowe
阅读全文
摘要：本文转自： "lytforgood" 机器学习总结 sklearn参数解释 实验数据集选取： 1分类数据选取 load_iris 鸢尾花数据集 2回归数据选取 数据集 切分为 训练集 验证集 GBDT 系数说明 "参考" GradientBoostingClassifier支持二进制和多类分类 xg
阅读全文
摘要：特征处理和特征选择 统计特征 加减平均：与均值进行比较。 分位线：处于前百分之几。 次序：排在第几位。 比例：类目占比。 购物推荐中的特征处理示例： 1. 加入购物车时间距当前的天数。 用户商品统计特征 2. 排除30天内从没买过商品的用户。 数据清洗 3. 在购物车里的商品，哪些会买，哪些不会买。
阅读全文
摘要：生成模型 假设训练集是（$x_{i},y_{i}$）,i=1,2,3,...,N，对新输入的$x$，要求对应的$y$是什么。 判别模型是指求条件概率分布$P(y|x)$或者$y=f(x)$,而生成模型需要先求联合分布$P(x,y)$。对二分类来说，由贝叶斯公式，给一个$x$,它属于$C_{1}$的概
阅读全文
摘要：线性回归 当数据为一维时： 根据训练数据（$x_{i},y_{i}$），想要学得线性方程：$y=wx+b$，对新输入的$x_{j}$，能够输出$y_{j}$的预测值。 目标函数（均方误差最小化）：$$(w^ ,b^ )=\underset{(w,b)}{\arg min}l(w,b)=\unders
阅读全文
摘要：bias–variance tradeoff 通过机器学习，我们可以从历史数据学到一个$f$，使得对新的数据$x$，可以利用学到的$f$得到输出值$f(x)$。设我们不知道的真实的$f$为$\overline{f}$，我们从数据中学到的$f$为$f^{ }$，实际上$f^{ }$是$\overlin
阅读全文
摘要：谱聚类 谱聚类概括的说是基于图论的聚类方法，通过样本矩阵的拉普拉斯矩阵的特征向量进行聚类。 谱聚类的想法是将图划分成若干子图，要求同一个子图的点相似度高，不同子图的点相似度低。 顺便复习一下相似度（距离）的度量公式： 闵可夫斯基距离MinKowski(欧氏距离)：$dist(X,Y)=\left (
阅读全文
摘要：LR（对数几率回归） 函数为$y=f(x)=\frac{1}{1+e^{ (w^{T}x+b)}}$。 由于输出的是概率值$p(y=1|x)=\frac{e^{w^{T}x+b}}{1+e^{w^{T}x+b}},p(y=0|x)=\frac{1}{1+e^{w^{T}x+b}}$，所以求解使用极大
阅读全文
浙公网安备 33010602011771号