看星星的小宇

摘要： 本文大部分内容转自：https://www.cnblogs.com/pinard/p/6251584.html 奇异值分解(Singular Value Decomposition，以下简称SVD)是在机器学习领域广泛应用的算法，它不光可以用于降维算法中的特征分解，还可以用于推荐系统，以及自然语言处 阅读全文

摘要： 经典算法 决策树 场景描述 时间：早上八点，地点：婚介所。 “闺女，我又给你找了个合适的对象，今天要不要见一面？” “多大？” “26岁。” “长得帅吗？” “还可以，不算太帅。” “工资高么？” “略高于平均水平。” “会写代码吗？” “人家是程序员，代码写得棒着呢！” “好，那把他联系方式发来吧 阅读全文

摘要： 经典算法 逻辑回归 question：逻辑回归相比于线性回归，有何异同？ answer：逻辑回归处理的是分类问题，线性回归处理的是回归问题，这是两者的最本质的区别。逻辑回归中，因变量取值是一个二元分布，模型学习得出的是 ，即给定自变量和超参数后，得到因变量的期望，并基于此期望来处理预测分类问题。而线 阅读全文

摘要： 经典算法 支持向量机（svm) question: 在空间上线性可分的两类点，分别向SVM分类的超平面上做投影，这些点在超平面上的投影仍然是线性可分的吗？ answer：不是。 补充： 实际上，该问题也可以通过凸优化理论中的超平面分离定理（Separating Hyperplane Theorem， 阅读全文

摘要： 模型评估 超参数调优 question：超参数有哪些调优方法？ answer：一般用网格搜索、随机搜索、贝叶斯优化。 ■ 网格搜索 网格搜索可能是最简单、应用最广泛的超参数搜索算法，它通过查找搜索范 围内的所有的点来确定最优值。如果采用较大的搜索范围以及较小的步长，网格 搜索有很大概率找到全局最优值 阅读全文

摘要： 简单总结一下机器学习最常见的两个函数，一个是logistic函数，另一个是softmax函数，若有不足之处，希望大家可以帮忙指正。本文首先分别介绍logistic函数和softmax函数的定义和应用，然后针对两者的联系和区别进行了总结。 1. logistic函数 1.1 logistic函数定义 阅读全文

摘要： 点击查看creditcard 参考网上资料,自己跑了一遍,由于参考资料众多,就不列举了 阅读全文

摘要： 模型评估 ROC曲线 question：如何计算AUC？ answer：首先，AUC是指ROC曲线下的面积大小，该值能够量化地反映基于ROC曲线衡量出的模型性能。计算AUC值只需要沿着ROC横轴做积分就可以了。 由于ROC曲线一般都处于y=x这条直线的上方（如果不是的话，只要把模型预测的 概率反转成 阅读全文

摘要： 交叉验证（Cross validation)，交叉验证用于防止模型过于复杂而引起的过拟合.有时亦称循环估计， 是一种统计学上将数据样本切割成较小子集的实用方法。于是可以先在一个子集上做分析， 而其它子集则用来做后续对此分析的确认及验证。 一开始的子集被称为训练集。而其它的子集则被称为验证集或测试集。 阅读全文

摘要： 模型评估 评估指标的局限性 question：准确率的局限性？ answer：准确率是分类问题中最简单也是最直观的评价指标，但存在明显的缺陷。比 如，当负样本占99%时，分类器把所有样本都预测为负样本也可以获得99%的准确 率。所以，当不同类别的样本比例非常不均衡时，占比大的类别往往成为影响准确率的 阅读全文