摘要： 是import在程序中的使用 【一】函数load_source imp.load_source(moduleName, sourceFile) 使用： abc = imp.load_source('def', '/home/fanruoxin/xxx.py') 得到结果: abc是模块的变量名，使用 阅读全文

摘要： 噪声的来源： 1、noise in y 2、noise in x 在有noise的情况下，vc bound还会work么？？？ 之前，x ~ p(x) 现在 y ~ P( y | x ) 在hoeffding的部分，只要 (x, y) 联合分布满足某个分布， 结果是一致的。 error measur 阅读全文

摘要： vc demension定义： breakPoint - 1 N > vc dimension， 任意的N个，就不能任意划分 N <= vc dimension，存在N个，可以任意划分 只要vc dimension是finite，那么H就比较好。 Perceptron Learning Algo 多 阅读全文

摘要： 成长函数 mH(N)： 当有N个点的时候，在H集上有多少种二分的方法。 breakPoint: 对任意的n个点，都没有2^n种不同的分割。n就是breakPoint。 定义B(N, k) 在k是breakPoint的情况下，N个点最多有多少种不同的分割。 可以画出B(N, k)图像： B(N, 1) 阅读全文

摘要： 两个核心问题： 1、Ein和Eout是否接近 2、Ein是否足够小 无限多个M怎么解决？ 找到mH，使得M无限也没问题。 上一节课的放缩稍微有点小，应该使用小一点的放缩。 在感知机中，其自由度与样本点个数有关，2^n，如果共线的话还会更少。 2^n是上界，要搞定多项式的。 从一维开始推导， 一维中， 阅读全文

摘要： 天下没有白吃的午餐，从样本内到样本外永远无法估计。 抽样的话，样本内频率和样本外概率相等PAC （probably approximately correct） 一个重要的事情是样本要在总体分布中取。 Ein(h) = sum(isSame(yHatn, yn)) 只要N足够大， Ein和Eout就 阅读全文

摘要： 一、不同的output 1、二分类 2、多分类 3、回归问题 4、structured learn: 从一个句子 -> 句子每个 词的词性。 输出是一个结构化的东西。 例子：蛋白质数据 -> 蛋白质结构 演讲语音 -> 演讲parse tree 二、不同label的类型 1、监督 2、非监督： 聚类 阅读全文

摘要： 感知机算法： 1、首先找到点，使得sign(wt * xt) != yt， 那么如果yt = 1，说明wt和xt呈负角度，wt+1 = wt + xt能令wt偏向正角度。 如果yt = -1, 说明xt和wt呈正角度，wt+1 = wt - xt 能令wt偏向负角度。 总之，参数更新为wt+1 = 阅读全文

摘要： 课程定位： 注重基础、故事性 机器学习定义： data - Algo - improve 机器学习使用条件 1、有优化的目标，可量化的。 2、规则不容易写下来，需要学习。 3、要有数据 一个可能的推荐系统： skill: 预测用户给电影的打分 用户的各个特征 * 电影的各个特征。。。 机器学习明确定 阅读全文

摘要： 一、深度学习与深层神经网络 1、线性模型局限性 线性模型无论多少层，表达能力是一致的。可以通过激活函数实现非线性。 2、多层网络可以解决异或运算 二、损失函数定义 1、经典损失函数： 分类问题： 二分类：取0.5作为阈值 多分类：设置n个输出节点，每个对应该类的可能性。神经网络输出向量 —>概率分布 阅读全文