摘要：1 奥卡姆剃刀原则 使用模型时尽量使用简单的模型。从简单的模型开始做起。 2 避免抽样偏差 所谓抽样偏差，是指训练数据集和测试数据集不是由同一个分布产生的。 比如验证集是从训练集中随机取一部分得到的，但是测试集却是时间轴靠后的数据，这样即使在验证集上做的很好，测试的时候却可能没那么好。 VC理论中， 阅读全文

摘要：本节涉及的知识点： （1）用验证来选择参数和模型； （2）验证的流程； （3）验证集大小的选择； （4）留一交叉验证的流程； （5）留一交叉验证的理论保证； （6）留一交叉验证的缺点； （7）k折交叉验证的流程。 1 验证 我们可以用验证来从如下的组合中做选择： 验证的流程是：先划分训练集Dt和验证 阅读全文

摘要：本节涉及的知识点包括： （1）所谓正则化，就是在原来的假设空间上加上一定限制条件； （2）推导线性回归中引入L2正则； （3）带正则化约束条件的问题 等价于 无约束的加正则项的augmented error； （4）VC维解释正则的好处； （5）选择一般正则项的三个原则； （6）L1正则和L2正则的 阅读全文