摘要：PCA 序言 ​ 在模型训练的时候，经常会遇到过拟合的问题，一般而言解决过拟合有很多方法 \[ 解决过拟合 \begin{cases} 增大数据量 &\\ 正则化 &\\ 降维 \begin{cases} 直接降维 (特征选择)&\\ 线性降维 \begin{cases} PCA &\\ MDS & 阅读全文

摘要：chapter 6 线性回归 目标:找到一个$f(w) = w^Tx$,然后能够拟合数据样本。 最小二乘估计(LSE) 两个角度理解最小二乘法的意义 距离角度的理解 找到一个超平面，然后使得所有的样本距离这个超平面的距离之和最短。 向量空间角度的理解 我们假设不同的样本（N个样本）构成了一个N维度的 阅读全文

摘要：Chapter 7 SVM SVM：间隔，对偶，核技巧 hard-margin SVM 将问题转化成为一个具有N个约束的凸优化问题 超平面：\(w\cdot x + b = 0\) 判别函数：\(f(x) = sign(w\cdot x + b)\) 最大间隔分类器：\(\max margin((w 阅读全文

摘要：Chapter2 感知机 2.1感知机模型 输入空间(特征空间)：\(X = R^n\) 输出空间：\(Y = \{+1,-1\}\) 输入样本：\(x\subseteq X\) 输出样本：\(y \in Y\) \[ f(x) = sign(w \cdot x + b ) \] \[ sign(x 阅读全文

摘要：马尔可夫链蒙特卡罗法 蒙特卡罗法 思想：假设概率分布的定义已知，然后通过随机抽样获得概率分布的随机样本，通过得到的随机样本对概率分布的特征进行分析。 for example：从随机抽出的样本中计算出样本均值，从而得到总体的期望。 蒙特卡罗方法的核心：随机抽样 主要有直接抽样，接受-拒绝抽样，重要性抽 阅读全文