ほしづきよ

摘要： [toc] 决策树中涉及到了信息熵、信息增益、信息增益率、基尼系数等公式，作为相应算法(ID3、C4.5、Cart树）的衡量标准，今天就来稍微推导一下这些公式~ 信息熵的最值求解 已知集合D的信息熵的定义为 $$\operatorname{Ent}(D)= \sum_{k=1}^{ | \mathc 阅读全文

摘要： SVM仔细梳理一下，好像也就是那么几个重要的东西◔ ‸◔？ 但是、但是其中涉及到的数学知识好多啊ε=(´ο｀ )))，所以这次想从最基础地慢慢来，把所有公式重新推导一遍~~~ [toc] 超平面、间隔 先从超平面说起，我觉得这是一个很抽象的东西 划分超平面可以通过如下线性方程来描述： $$ w^Tx 阅读全文

摘要： 最近正好做到这道题目 "1071 Speech Patterns" ，题目本身没有什么算法思想，但是却很灵活的使用到了STL。之前刷完了PAT的Basic Level后，的确感觉自己在STL的使用上熟练了很多。学会灵活的使用STL，真得让代码简洁了不少呢~~~，做题思路也更清晰了( ^▽^ )，所以 阅读全文

摘要： 降维算法应用：数据压缩、数据可视化。 主成分分析(PCA)是最常见的降维算法。 在 PCA 中，我们要做的是找到一个方向向量（Vector direction），当我们把所有的数据 都投射到该向量上时，我们希望投射平均均方误差能尽可能地小。方向向量是一个经过原点 的向量，而投射误差是从特征向量向该方 阅读全文

摘要： 聚类分析是在数据中发现数据对象之间的关系，将数据进行分组，组内的相似性越大，组间的差别越大，则聚类效果越好。 此次我们学习聚类中的第一个算法——K-均值算法。K-均值算法本质就是重复将样本分配的类里面，不断的更新类的重心位置。 这里将围绕K-均值算法讨论目标优化、随机初始化和如何选择聚类数。 K-M 阅读全文

摘要： KTT条件 KTT条件 如果是在等式约束条件下求解最优问题时，我们可以使用拉格朗日拉格朗日数乘法，但是如果是不等式的优化问题，我们该怎么做呢，这个时候就要使用KTT条件。 设目标函数f(x)，不等式约束为g(x)。此时的约束优化问题描述如下： 则我们定义不等式约束下的拉格朗日函数L，则L表达式为： 阅读全文

摘要： 神经网络的定义 把神经元模拟成一个逻辑单元，在神经网络的模型中，神经元收到来自n个其他神经元传递过来的输入信号，这些输入信号通过带权重的连接进行传递，神经元收到的总输入值将与神经元的阈值进行比较，然后通过激活函数（activation funciton）处理以产生神经元的输出。 把许多个这样的神经元 阅读全文

摘要： Underfitting (欠拟合） Overfitting (过拟合） 解决拟合的方法 线性回归正则化 欠拟合/高偏差（high bias） 过拟合/高方差（high variance） 过拟合与欠拟合也可以用 Bias 与 Variance 的角度来解释，欠拟合会导致高 Bias ，过拟合会导致 阅读全文

摘要： Markdown真是一个好东西，自从开始习惯用Markdown写文档时，真得觉得写出来的论文排版很轻松就能搞定了，就排版而言比word真心好用多了。 在尝试用了好几种markdown的文本编辑器后，我还是最喜欢用Madoko. 在这里，我一定要向大家真诚地推荐一下Madoko这个IDE,它不仅功能很 阅读全文

摘要： 由于分类问题的输出是0、1这样的离散值，因而回归问题中用到的线性回归模型就不再适用了。对于分类问题，我们建立逻辑回归模型。 针对逻辑回归模型，主要围绕以下几点来讨论。 Sigmoid Function （逻辑函数） Decision Boundaries (决策边界） Cost Function ( 阅读全文