随笔分类 -  ML思考与探索

关于机器学习一些常见算法和问题的思考和总结
Logistic Regression 的推导以及与 logit loss 之间的关系
摘要：最初是一个线性分类器 \(f(x) = w^Tx+b\)， 设类别为 \(y\in\{+1, -1\}\) ，规定当 \(f(x)>0\) 预测为 \(y=+1\)；当 \(f(x)<0\), 预测为 \(y=-1\)。 引入 sigmoid 函数 \(\sigma(z) = \frac{1}{1+ 阅读全文
posted @ 2020-11-30 21:01 Gelthin 阅读(651) 评论(0) 推荐(0)
详解 SVM 对偶问题与 KKT 条件--以《统计学习方法，第二版》为例
摘要：《统计学习方法，第二版》第七章 支持向量机的原问题 李航老师在书上对 SVM 的原问题推导出其对应的对偶问题的推导过程有些简略, 其直接令导数为 0, 得到公式 （7.19)+(7.20)。虽然最终结果正确，但内在的分析没有揭示出来。 推导对偶问题的过程涉及到 Lagrange 函数，Lagrang 阅读全文
posted @ 2020-03-28 15:43 Gelthin 阅读(1124) 评论(0) 推荐(0)
LDA vs. PCA vs. NCA
摘要：来自于2019春季数据挖掘课习题 + LDA LDA 是一种经典的线性学习方法。在二分类问题上，其目标是找到一个投影方向，使得按照此投影方向投影后，同类样例的投影点尽可能近，而非同类样例的样本点尽可能远。在多分类问题上（设类别数为 C），同样可以按照上述思想进行推导。值得注意的是，在二分类问题上，投 阅读全文
posted @ 2020-03-28 15:41 Gelthin 阅读(536) 评论(0) 推荐(0)
关于 PAC 学习理论的一点思考
摘要：来自 2019年7月对机器学习理论整理时的思考： 1. 第一章中给出了轴平行矩形这一概念类，并且推导出了样本复杂度，从而说明了是 PAC 可学习的。但后面 VC维章节可以分析一下这一概念类的VC 维，在泛化界章节，可以给出基于VC维的泛化界，并且与这里的泛化界进行对比。 2. 在泛化界章节，最好再强 阅读全文
posted @ 2020-02-03 11:29 Gelthin 阅读(1196) 评论(1) 推荐(0)
ML 论文中 用到的 temperature
摘要：ICCV 17 learning from Noisy labels with distillation MixMatch ReMixMatch domain adaptation survey 提及此 AISTAT 2020: confident learning 阅读全文
posted @ 2020-01-06 23:46 Gelthin 阅读(193) 评论(0) 推荐(0)
关于 PCA 算法的一点小结
摘要：\#先写到这里，下次再补充详细的推导细节。 对于PCA算法，《Foudations of ML》、《Understanding ML》、周老师的《机器学习》以及《Data Mining》、PRML 和 花书《深度学习》甚至统计学的多元统计分析课本中的出发角度和推导方式都各不相同。 周老师的《机器学习 阅读全文
posted @ 2018-12-10 20:49 Gelthin 阅读(338) 评论(0) 推荐(0)