随笔分类 -  机器学习杂项

【机器学习基石笔记】九、LinearRegression
摘要:【一】 线性回归直觉上的解释 得到Ein = mean(y - wx)^2 【二】 w的推导 Ein = 1/N || xw - y||^2 连续、可微、凸函数 在各个方向的偏微分都是0 Ein = 1/N (wTxTxw - 2wTxTy + yTy) Ein := 1/N (wTaw - 2wT 阅读全文

posted @ 2017-11-02 23:40 yesuuu 阅读(358) 评论(0) 推荐(0)

【机器学习基石笔记】八、噪声和错误
摘要:噪声的来源: 1、noise in y 2、noise in x 在有noise的情况下,vc bound还会work么??? 之前,x ~ p(x) 现在 y ~ P( y | x ) 在hoeffding的部分,只要 (x, y) 联合分布满足某个分布, 结果是一致的。 error measur 阅读全文

posted @ 2017-09-16 18:44 yesuuu 阅读(197) 评论(0) 推荐(0)

【机器学习基石笔记】七、vc Dimension
摘要:vc demension定义: breakPoint - 1 N > vc dimension, 任意的N个,就不能任意划分 N <= vc dimension,存在N个,可以任意划分 只要vc dimension是finite,那么H就比较好。 Perceptron Learning Algo 多 阅读全文

posted @ 2017-09-15 22:21 yesuuu 阅读(353) 评论(0) 推荐(0)

【机器学习基石笔记】六、举一反三的理论
摘要:成长函数 mH(N): 当有N个点的时候,在H集上有多少种二分的方法。 breakPoint: 对任意的n个点,都没有2^n种不同的分割。n就是breakPoint。 定义B(N, k) 在k是breakPoint的情况下,N个点最多有多少种不同的分割。 可以画出B(N, k)图像: B(N, 1) 阅读全文

posted @ 2017-09-13 22:00 yesuuu 阅读(164) 评论(0) 推荐(0)

【机器学习基石笔记】五、训练和测试的差距
摘要:两个核心问题: 1、Ein和Eout是否接近 2、Ein是否足够小 无限多个M怎么解决? 找到mH,使得M无限也没问题。 上一节课的放缩稍微有点小,应该使用小一点的放缩。 在感知机中,其自由度与样本点个数有关,2^n,如果共线的话还会更少。 2^n是上界,要搞定多项式的。 从一维开始推导, 一维中, 阅读全文

posted @ 2017-09-09 22:20 yesuuu 阅读(165) 评论(0) 推荐(0)

【机器学习基石笔记】四、无法学习?
摘要:天下没有白吃的午餐,从样本内到样本外永远无法估计。 抽样的话,样本内频率和样本外概率相等PAC (probably approximately correct) 一个重要的事情是样本要在总体分布中取。 Ein(h) = sum(isSame(yHatn, yn)) 只要N足够大, Ein和Eout就 阅读全文

posted @ 2017-09-09 21:09 yesuuu 阅读(122) 评论(0) 推荐(0)

【机器学习基石笔记】三、不同类型的机器学习
摘要:一、不同的output 1、二分类 2、多分类 3、回归问题 4、structured learn: 从一个句子 -> 句子每个 词的词性。 输出是一个结构化的东西。 例子:蛋白质数据 -> 蛋白质结构 演讲语音 -> 演讲parse tree 二、不同label的类型 1、监督 2、非监督: 聚类 阅读全文

posted @ 2017-09-09 10:32 yesuuu 阅读(138) 评论(0) 推荐(0)

【机器学习基石笔记】二、感知机
摘要:感知机算法: 1、首先找到点,使得sign(wt * xt) != yt, 那么如果yt = 1,说明wt和xt呈负角度,wt+1 = wt + xt能令wt偏向正角度。 如果yt = -1, 说明xt和wt呈正角度,wt+1 = wt - xt 能令wt偏向负角度。 总之,参数更新为wt+1 = 阅读全文

posted @ 2017-09-08 00:15 yesuuu 阅读(173) 评论(0) 推荐(0)

【机器学习基石笔记】一、综述
摘要:课程定位: 注重基础、故事性 机器学习定义: data - Algo - improve 机器学习使用条件 1、有优化的目标,可量化的。 2、规则不容易写下来,需要学习。 3、要有数据 一个可能的推荐系统: skill: 预测用户给电影的打分 用户的各个特征 * 电影的各个特征。。。 机器学习明确定 阅读全文

posted @ 2017-09-07 00:13 yesuuu 阅读(121) 评论(0) 推荐(0)

【机器学习】Boosting和Bagging的差别
摘要:boosting和bagging的差别: bagging中的模型是强模型,偏差低,方差高。目标是降低方差。在bagging中,每个模型的bias和variance近似相同,但是互相相关性不太高,因此一般不能降低Bias,而一定程度上能降低variance。典型的bagging是random fore 阅读全文

posted @ 2016-08-02 14:14 yesuuu 阅读(975) 评论(0) 推荐(0)

导航