bonelee - 博客园

2021年8月6日

聚类算法：ISODATA算法 ——kmeans算法升级版，不知道k也可以，但是需要你自己指定其他参数也很蛋疼

摘要：当K值的大小不确定时，可以使用ISODATA算法。ISODATA的全称是迭代自组织数据分析法。在K均值算法中，聚类个数K的值需要预先人为地确定，并且在整个算法过程中无法更改。而当遇到高维度、海量的数据集时，人们往往很难准确地估计出K的大小。ISODATA算法就是针对这个问题进行了改进，它的思想也很直阅读全文

posted @ 2021-08-06 11:03 bonelee 阅读(732) 评论(0) 推荐(0)

k-means++算法选择初始seeds的基本思想就是：初始的聚类中心之间的相互距离要尽可能的远——sklearn内置该算法

摘要： k-means ++介绍：k-means++算法选择初始seeds的基本思想就是：初始的聚类中心之间的相互距离要尽可能的远。算法步骤：（1）从输入的数据点集合中随机选择一个点作为第一个聚类中心（2）对于数据集中的每一个点x，计算它与最近聚类中心(指已选择的聚类中心)的距离D(x)（3）选择一个新的数阅读全文

posted @ 2021-08-06 10:59 bonelee 阅读(756) 评论(0) 推荐(0)

2021年8月5日

用scikit-learn进行LDA降维——以前没有注意，原来LDA降维竟然这么好用！对无监督的任务使用PCA进行降维，对有监督的则应用LDA。

摘要： PCA和LDA区别：PCA选择的是投影后数据方差最大的方向。由于它是无监督的，因此PCA假设方差越大，信息量越多，用主成分来表示原始数据可以去除冗余的维度，达到降维。而LDA选择的是投影后类内方差小、类间方差大的方向。其用到了类别标签信息，为了找到数据中具有判别性的维度，使得原始数据在这些方向上投影阅读全文

posted @ 2021-08-05 22:05 bonelee 阅读(1375) 评论(0) 推荐(0)

ID3/Cart/C4.5区别

摘要：历史回顾：1984年提出的cart，1986年提出的ID3，1993年提出的c4.5 理论上总的来说，C4.5是基于ID3优化后产出的算法，主要优化了关于节点分支的计算方式，优化后解决了ID3分支过程中总喜欢偏向取值较多的属性ID3是信息增益分支：而CART一般是GINI系数分支： C4.5一般是阅读全文

posted @ 2021-08-05 21:14 bonelee 阅读(1422) 评论(0) 推荐(0)

超参数调优——google Vizier采用迁移学习的思想，主要是从之前调参的经验中学习，为新算法提出最佳超参数

摘要： Google使用一套超参数调优算法来烘焙更美味的饼干“超参数调优”和“烘焙饼干”这两件事情，乍一听感觉风马牛不相及，但细想一下，似乎又有一定的相似之处——“黑盒优化”。结构复杂的深度学习模型某种程度上就是一个黑盒，为实现更好的优化目标，我们不断进行“超参数调优”来优化这个黑盒。烘焙饼干似乎也是类似的阅读全文

posted @ 2021-08-05 16:26 bonelee 阅读(481) 评论(0) 推荐(0)

sklearn 绘制roc曲线

摘要： Machine learning.简单绘制ROC曲线 ROC曲线，又可以称之为接受者操作特征曲线(Receiver Operating Characteristic Curve)，ROC曲线下的面积，称为AUC(Area Under Cureve)，可以衡量评估二分类模型的分类好坏。本文视图使用P 阅读全文

posted @ 2021-08-05 11:09 bonelee 阅读(5640) 评论(1) 推荐(0)

2021年8月4日

原来ROC曲线更加健壮地反映模型的效果，看来还是比较关键的（就像逻辑回归，你总是希望模型让0/1分类的数据尽可能都向两端靠对不对，ROC就是反映这个好坏的指标）

摘要：《白面机器学习》阅读全文

posted @ 2021-08-04 22:22 bonelee 阅读(69) 评论(0) 推荐(0)

word2vec的原理——根据单词的上下文去预测单词出现，然后让整体的概率最大化。学习这样一个神经网络，然后选择隐藏作为vector表示。最初单词是onehot编码！

摘要：来自《白面机器学习》阅读全文

posted @ 2021-08-04 21:10 bonelee 阅读(123) 评论(0) 推荐(0)

M5P算法——本质上就是分段线性回归的树类算法

摘要：数据挖掘之一——M5P树状回归演算法如果哪天你看到了这个文章，说明你是xixi，真怀念一起读博士的日子啊。 Tags: 数据挖掘 M5P树状回归回归演算法 M5P树状回归演算法可根据资料的分布建立多种回归模型，依据输入资料的不同来决定适用的回归模型。比起传统的线性回归，M5P能够准确预测非线性阅读全文

posted @ 2021-08-04 20:17 bonelee 阅读(2523) 评论(0) 推荐(0)

OCSVM算法原理——寻找0点和样本之间的最合适边界（1）最大化分离超平面到零点的距离（2）最小化球形边界

摘要：异常检测之One class svm 简书 2020-01-01 19:05 OneCLassSVM是一种novelty detection方法：它的训练集不应该掺杂异常点，因为模型可能会去匹配这些异常点。但在数据维度很高，或者对相关数据分布没有任何假设的情况下，OneClassSVM也可以作为一种阅读全文

posted @ 2021-08-04 20:10 bonelee 阅读(2922) 评论(0) 推荐(0)

将者，智、信、仁、勇、严也。

Hi，我是李智华，华为-安全AI算法专家，欢迎来到安全攻防对抗的有趣世界。

公告