随笔分类 -  ML&DL

• HMM基础
  摘要：原文地址：https://www.jianshu.com/p/1ccca30ac3d7 一、HMM建模 HMM参数： 二、HMM的3个假设 （一）马尔科夫假设 （二）观测独立性假设 （三）不变性假设 转移矩阵$A$不随时间变化。 三、HMM的3个问题 （一）概率计算／评估 likelihood 给定 阅读全文
  posted @ 2019-05-08 22:57 cherrychenlee 阅读(280) 评论(0) 推荐(0)
• GMM基础
  摘要：原文地址：https://www.jianshu.com/p/5f7365209b05 一、单成分单变量高斯模型 二、单成分多变量高斯模型 若协方差矩阵为对角矩阵且对角线上值相等，两变量高斯分布的等值线为圆形。 若协方差矩阵为对角矩阵且对角线上值不等，两变量高斯分布的等值线为椭圆形。长轴平行于取较大 阅读全文
  posted @ 2019-05-08 14:11 cherrychenlee 阅读(186) 评论(0) 推荐(0)
• ML&MLDS笔记：偏差 vs 方差
  摘要：原文地址：https://www.jianshu.com/p/a02c6bd5d5e9 error来自哪？来自于偏差Bias和方差Variance。 就如打靶时瞄准一个点$\overline{f}$，打出的点$f^ $分布在该点周围。那么，$\overline{f}$与实际靶心$\hat{f}$的距 阅读全文
  posted @ 2019-05-08 09:57 cherrychenlee 阅读(269) 评论(0) 推荐(0)
• Decision Tree、Random Forest、AdaBoost、GBDT
  摘要：原文地址：https://www.jianshu.com/p/d8ceeee66a6f Decision Tree 基本思想在于每次分裂节点时选取一个特征使得划分后得到的数据集尽可能纯。 划分标准 信息增益(Information Gain) 信息增益 = 未划分数据集的信息熵 划分后子数据集的信息 阅读全文
  posted @ 2019-05-03 22:57 cherrychenlee 阅读(616) 评论(0) 推荐(0)
• 正则化：L0 vs L1 vs L2
  摘要：原文地址：https://www.jianshu.com/p/e5c9a9fc84d4 + 为什么正则化可以缓解过拟合？ 过拟合时，拟合函数的系数往往非常大。过大的权重会导致模型过多地学习到某些数据的个性特征，从而导致过拟合。更少的参数（实际是更多的参数取值为0或取值趋于0），模型倾向于变得简单。 阅读全文
  posted @ 2019-05-03 19:32 cherrychenlee 阅读(223) 评论(0) 推荐(0)
• 处理不平衡数据的基本方法
  摘要：原文地址：https://www.jianshu.com/p/53bffd95d6f5 + 使用正确的评价指标 如ROC AUC。 + 重新采样训练集 + 欠采样 常常当数据量足够多时使用这个方法。通过在多数类样本中随机选择和少数类样本相同数量的样本。 可多次放回地抽取不同的训练集，训练不同的分类器 阅读全文
  posted @ 2019-05-03 16:46 cherrychenlee 阅读(890) 评论(0) 推荐(0)
• 常用的评价指标：accuracy、precision、recall、f1-score、ROC-AUC、PR-AUC
  摘要：原文地址：https://www.jianshu.com/p/dbbfffd6a5e9 |预测（横）实际（纵）|+| | | | | | |+|tp|fn| | |fp|tn| + 准确率(Accuracy) $$accuracy=\frac{tp+tn}{tp+fp+tn+fn}$$ accura 阅读全文
  posted @ 2019-05-03 16:30 cherrychenlee 阅读(1880) 评论(1) 推荐(1)
• 梯度下降：SGD vs Momentum vs NAG vs Adagrad vs Adadelta vs RMSprop vs Adam
  摘要：原文地址：https://www.jianshu.com/p/7a049ae73f56 梯度下降优化基本公式：${\theta\leftarrow\theta \eta\cdot\nabla_\theta{J(\theta)}}$ 一、三种梯度下降优化框架 这三种梯度下降优化框架的区别在于每次更新模 阅读全文
  posted @ 2019-05-03 15:38 cherrychenlee 阅读(521) 评论(0) 推荐(0)
• Bagging vs Boosting vs Stacking
  摘要：原文地址：https://www.jianshu.com/p/9dacdc88d3ec + Bagging 用于减小方差。 使用训练数据的不同随机子集（大小常等于训练数据，采用不放回的方式进行抽取）来训练每个base model，最后对每个base model进行权重相同的vote。分类问题取众数， 阅读全文
  posted @ 2019-05-03 13:39 cherrychenlee 阅读(247) 评论(0) 推荐(0)
• Naive RNN vs LSTM vs GRU、attention基础
  摘要：原文地址：https://www.jianshu.com/p/b8653f8b5b2b 一、Recurrent Neural Network 二、Naive RNN Naive RNN更新参数时易出现梯度消失/爆炸的问题。 三、LSTM + peephole + Naive RNN vs LSTM 阅读全文
  posted @ 2019-05-03 11:55 cherrychenlee 阅读(1518) 评论(0) 推荐(0)
• Logistic Regression vs Naive Bayes
  摘要：原文地址：https://www.jianshu.com/p/930813af53c7 相同 逻辑回归和朴素贝叶斯都是对条件概率$P(y|X)$进行建模，使得最终的分类结果有很好的解释性。 不同 具体流程 + 逻辑回归： 假设$P(y=1|X)$满足逻辑函数 $$\delta(z)=\frac{1} 阅读全文
  posted @ 2019-05-03 11:17 cherrychenlee 阅读(293) 评论(0) 推荐(0)
• 机器学习技法笔记：Homework #8 kNN&RBF&k-Means相关习题
  摘要：原文地址：https://www.jianshu.com/p/1db700f866ee 问题描述 程序实现 kMeans.py coding:utf 8 from numpy import random from kNN_RBFN import def kMeans(t,k,dataArray): 阅读全文
  posted @ 2019-05-02 23:09 cherrychenlee 阅读(250) 评论(0) 推荐(0)
• 机器学习技法笔记：16 Finale
  摘要：原文地址：https://www.jianshu.com/p/4d86d36d6ec6 Roadmap Feature Exploitation Techniques Error Optimization Techniques Overfitting Elimination Techniques M 阅读全文
  posted @ 2019-05-02 23:05 cherrychenlee 阅读(155) 评论(0) 推荐(0)
• 机器学习技法笔记：15 Matrix Factorization
  摘要：原文地址：https://www.jianshu.com/p/51c725131851 Roadmap Linear Network Hypothesis Basic Matrix Factorization Stochastic Gradient Descent Summary of Extrac 阅读全文
  posted @ 2019-05-02 22:59 cherrychenlee 阅读(177) 评论(0) 推荐(0)
• 机器学习技法笔记：14 Radial Basis Function Network
  摘要：原文地址：https://www.jianshu.com/p/c517880ed9e4 Roadmap RBF Network Hypothesis RBF Network Learning k Means Algorithm k Means and RBF Network in Action Su 阅读全文
  posted @ 2019-05-02 22:52 cherrychenlee 阅读(139) 评论(0) 推荐(0)
• 机器学习技法笔记：13 Deep Learning
  摘要：原文地址：https://www.jianshu.com/p/ddd4deede329 Roadmap Deep Neural Network Autoencoder Denoising Autoencoder Principal Component Analysis Summary 阅读全文
  posted @ 2019-05-02 22:44 cherrychenlee 阅读(114) 评论(0) 推荐(0)
• 机器学习技法笔记：Homework #7 Decision Tree&Random Forest相关习题
  摘要：原文地址：https://www.jianshu.com/p/7ff6fd6fc99f 问题描述 程序实现 13 15 coding:utf 8 decision_tree.py import numpy as np def ReadData(dataFile): with open(dataFil 阅读全文
  posted @ 2019-05-02 21:49 cherrychenlee 阅读(210) 评论(0) 推荐(0)
• 机器学习技法笔记：12 Neural Network
  摘要：原文地址：https://www.jianshu.com/p/7b828d3f5558 Roadmap Motivation Neural Network Hypothesis Neural Network Learning Optimization and Regularization Summa 阅读全文
  posted @ 2019-05-02 21:44 cherrychenlee 阅读(145) 评论(0) 推荐(0)
• 机器学习技法笔记：11 Gradient Boosted Decision Tree
  摘要：原文地址：https://www.jianshu.com/p/75856e7cfa88 Roadmap Adaptive Boosted Decision Tree Optimization View of AdaBoost Gradient Boosting Summary of Aggregat 阅读全文
  posted @ 2019-05-02 21:36 cherrychenlee 阅读(141) 评论(0) 推荐(0)
• 机器学习技法笔记：10 Random Forest
  摘要：原文地址：https://www.jianshu.com/p/65512ec5fdea Roadmap Random Forest Algorithm Out Of Bag Estimate Feature Selection Random Forest in Action Summary 阅读全文
  posted @ 2019-05-02 21:02 cherrychenlee 阅读(150) 评论(0) 推荐(0)