摘要：【一】 线性回归直觉上的解释 得到Ein = mean(y - wx)^2 【二】 w的推导 Ein = 1/N || xw - y||^2 连续、可微、凸函数 在各个方向的偏微分都是0 Ein = 1/N (wTxTxw - 2wTxTy + yTy) Ein := 1/N (wTaw - 2wT 阅读全文

摘要：噪声的来源： 1、noise in y 2、noise in x 在有noise的情况下，vc bound还会work么？？？ 之前，x ~ p(x) 现在 y ~ P( y | x ) 在hoeffding的部分，只要 (x, y) 联合分布满足某个分布， 结果是一致的。 error measur 阅读全文

摘要：vc demension定义： breakPoint - 1 N > vc dimension， 任意的N个，就不能任意划分 N <= vc dimension，存在N个，可以任意划分 只要vc dimension是finite，那么H就比较好。 Perceptron Learning Algo 多 阅读全文

摘要：成长函数 mH(N)： 当有N个点的时候，在H集上有多少种二分的方法。 breakPoint: 对任意的n个点，都没有2^n种不同的分割。n就是breakPoint。 定义B(N, k) 在k是breakPoint的情况下，N个点最多有多少种不同的分割。 可以画出B(N, k)图像： B(N, 1) 阅读全文

摘要：两个核心问题： 1、Ein和Eout是否接近 2、Ein是否足够小 无限多个M怎么解决？ 找到mH，使得M无限也没问题。 上一节课的放缩稍微有点小，应该使用小一点的放缩。 在感知机中，其自由度与样本点个数有关，2^n，如果共线的话还会更少。 2^n是上界，要搞定多项式的。 从一维开始推导， 一维中， 阅读全文

摘要：天下没有白吃的午餐，从样本内到样本外永远无法估计。 抽样的话，样本内频率和样本外概率相等PAC （probably approximately correct） 一个重要的事情是样本要在总体分布中取。 Ein(h) = sum(isSame(yHatn, yn)) 只要N足够大， Ein和Eout就 阅读全文

摘要：一、不同的output 1、二分类 2、多分类 3、回归问题 4、structured learn: 从一个句子 -> 句子每个 词的词性。 输出是一个结构化的东西。 例子：蛋白质数据 -> 蛋白质结构 演讲语音 -> 演讲parse tree 二、不同label的类型 1、监督 2、非监督： 聚类 阅读全文

摘要：感知机算法： 1、首先找到点，使得sign(wt * xt) != yt， 那么如果yt = 1，说明wt和xt呈负角度，wt+1 = wt + xt能令wt偏向正角度。 如果yt = -1, 说明xt和wt呈正角度，wt+1 = wt - xt 能令wt偏向负角度。 总之，参数更新为wt+1 = 阅读全文

摘要：课程定位： 注重基础、故事性 机器学习定义： data - Algo - improve 机器学习使用条件 1、有优化的目标，可量化的。 2、规则不容易写下来，需要学习。 3、要有数据 一个可能的推荐系统： skill: 预测用户给电影的打分 用户的各个特征 * 电影的各个特征。。。 机器学习明确定 阅读全文

摘要：boosting和bagging的差别： bagging中的模型是强模型，偏差低，方差高。目标是降低方差。在bagging中，每个模型的bias和variance近似相同，但是互相相关性不太高，因此一般不能降低Bias，而一定程度上能降低variance。典型的bagging是random fore 阅读全文