Coursera, Big Data 4, Machine Learning With Big Data (week 3/4/5)

week 3 Classification

 

　　

KNN ：基本思想是 input value 类似，就可能是同一类的

　　

　　

Decision Tree

　　

　　

　　

　　

 

Naive Bayes

　　

　　

 

Week 4 Evaluating model

Over-fitting 

怎么在Decision Tree 训练时避免 overfitting: Pre-Pruning 和 Post-Pruning

 

pre-pruning 两个停止条件：1. 某个node上的record数目小于一定量，比如 <20个， 2. 纯度到达一定数值，比如80%, 就不再split了.

 

 

怎么取 validation set

 

holdout 方法如下表示，为了解决training set 和validation set 可能distribution 不同，还有一个引申出来的repeated-holdout

 

 

除了 accuracy, error rate, F1, Confusion Matrix

 

 

 

Week 5 Regression, Cluster, Association

Association:

 

 

 

先create 1-item set，根据support 的threshold, 去掉低于 min support 的部分，然后再create 2-item set