吴恩达机器学习课程笔记6-核函数和聚类算法

12 支持向量机SVM

1. 优化目标
   

• 使用新的激活函数减缓目标函数的计算
  
• 新表达式
  
• SVM直接输出0/1，不输出概率
  

2. SVM称为大间距分类器
   
   

• SVM,大间距分类器
  
• 对异常值非常敏感 如果参数C太大
  

3. 大间距的数学原理
   
   
   

4. 核函数1

• 非线性决策边界,选择不同特征
  
• 核函数,衡量相似度
  
• 距离核中心远近
  
• 核函数(正态分布)f
  
• 生成决策边界
  

5. 核函数2
   
   
   
   

6. 使用SVM
   
   
   

• SVM凸优化，不用担心收敛到局部最小值
  
• 逻辑回归，神经网络，SVM 是三个大的算法领域

13. 无监督学习

1. 无监督学习

• 无监督学习，训练数据集没有标签
  
• 无监督学习应用：市场分类,社交网络分析等
  

2. K-means算法

• 随机生成两个点作为中心点，按照样本与中心点距离进行聚类
  

• 计算聚类中的平均坐标点作为新聚类中心
  

• 迭代进行聚类，直到聚类中心不再改变
  

• 聚类算法描述
  
  

3. 优化目标

• 最小化优化函数，寻找合适的中心点。
  
  

4. 随机初始化
   不同初始化中心点，会导致不同的聚类结果
   
   

• 随机初始化100次，当K-2-10时，当K非常大时随机初始化次数多没有很大改善
  

5. 选取聚类数量K

• Elbow Method
  
• 后序目的给出一个评估标准，如T-Shirt尺寸可以根据市场反馈
  

参考

• 视频课程