摘要：一.背景 1.概率：在多元下，（1）联合概率：两个事件同时发生的概率P(A,B) ，（2）条件概率：在某一事件A条件下，另一事件B发生的概率P(B|A)，（3）边缘概率：某一事件发生的概率P(A); 2.独立事件：两个没有任何关系的事件互为独立事件，此时两个事件的联合概率为两者概率相乘P(A,B)= 阅读全文

摘要：一.决策树（判定树） 1.依据树结构进行决策，目的是产生一棵泛化能力强的判定树，其中叶子结点为决策结果，其他节点对应一个属性测试，根节点包含所有样本，从根节点到叶子结点的路径表示判定的决策路径。 2.首先我们给定一个训练样本集，以及他们的属性集（特征集），然后由根结点开始，每个节点代表一个属性测试， 阅读全文

摘要：一.SVM 1.SVM（Support Vector Machines）是一种监督学习中的二分类器,目标是在样本空间内找到一个超平面对数据集进行分类，关键点在于怎样确定这个超平面。 2.训练好的模型的算法复杂度是由支持向量的个数决定的，而不是由数据的维度决定的。所以 SVM 不太容易产生 overf 阅读全文

摘要：模型是对数据的学习，必不可少 一.基本概念 1.模型也被称为学习器（假设/算法），是指能从已有的数据中学习到所需知识的数学模型。 2.相关概念 （1）归纳偏好（inductive bias）：机器学习算法在学习过程中对某种类型假设的偏好，比如：存在多个模型能反映训练样本，但是它们对于新的样本却有不同 阅读全文