ApacheCN 数据科学/人工智能/机器学习知识树 2019.2

• 【主页】 apachecn.org
• 【Github】@ApacheCN
• 暂时下线: 社区
• 暂时下线: cwiki 知识库
• 自媒体平台
  • 微博：@ApacheCN
  • 知乎：@ApacheCN
  • CSDN
  • 简书
  • OSChina
  • 博客园
• 我们不是 Apache 的官方组织/机构/团体，只是 Apache 技术栈（以及 AI）的爱好者！
• 合作or侵权，请联系【fonttian】fonttian@gmail.com | 请抄送一份到 apachecn@163.com

• 预处理

  • 离散化
    • 等值分箱
    • 等量分箱
    • 独热 one-hot
  • 标准化
    • 最小最大 min-max
    • z-score
    • l2 标准化
    • 归一化
  • 特征选择
    • ANOVA
    • 信息增益/信息增益率

• 模型验证

  • 评价指标
    • 回归
      • MSE
      • R 方
    • 分类
      • 准确率
      • 精确率
      • 召回率
      • F1 得分
      • 宏平均 F1
      • 微平均 F1
    • 聚类
      • 互信息
      • 轮廓距离
  • 交叉验证
    • K 折
  • 网格搜索

• 最优化方法

  • 梯度下降
  • 随机梯度下降 SGD
  • 牛顿法/拟牛顿法
  • 动量法
  • RMSProp
  • Adam

• 传统机器学习

  • 基本概念
    • 欠拟合/过拟合
    • 距离
      • 汉明距离
      • 曼哈顿距离
      • 欧几里得距离
      • 切比雪夫距离
      • 余弦相似度
      • pearson 相似度
    • 损失函数
      • MSE
      • 交叉熵
      • Hinge
  • 线性模型
    • 线性回归
    • Lasso/岭回归
      • 正则化
    • 逻辑回归
    • softmax 回归
  • 支持向量机
    • 拉格朗日对偶
    • 软边界支持向量机
    • 核方法
  • 树和森林
    • 决策树
    • 随机森林
    • GDBT/XGBoost
    • LightGBM
  • 集成学习
    • Bagging
    • Boosting
      • Adaboost
    • Blending/Stacking
  • KNN
  • 聚类
    • KMenas
    • 层次聚类
      • 凝聚聚类
      • 分裂聚类
    • DBSCAN
    • 谱聚类
    • 高斯混合模型 GMM
  • 概率图
    • 朴素贝叶斯
    • 隐马尔科夫 HMM
  • 降维
    • PCA/SVD
    • T-SNE

• 深度学习

  • 基本概念
    • 正向传播
    • 反向传播
    • 激活函数
      • sigmoid
      • softmax
      • tanh
      • ReLU
      • ELU
      • Leaky ReLU
    • 丢弃 Dropout
    • 微调 Fine-Tune
    • 批量归一化 BatchNorm
  • 前馈神经网络 DNN/多层感知机 MLP
    • 输入层
    • 隐层
    • 输出层
  • 卷积神经网络 CNN
    • 层
      • 卷积层
      • 池化层
      • 全连接层
    • 经典结构
      • LeNet
      • AlexNet
      • ZFNet
      • GoogLeNet
      • VGG
      • ResNet
      • DenseNet
  • 循环神经网络 RNN
    • 循环层
    • 经典结构
      • LSTM
      • GRU
      • BiLSTM
      • 注意力
      • Seq2Seq
  • 自编码器
    • 栈式自编码器
    • 稀疏自编码器
    • 去噪自编码器
    • 变分自编码器
  • 生成对抗网络 GAN
    • DCGAN

• 应用领域（待扩展）

  • 推荐系统
  • 机器视觉 CV
  • 自然语言处理 NLP
  • 生物信息

• 常用工具

  • 数据分析
    • NumPy
    • Pandas
  • 科学计算
    • SciPy
  • 可视化
    • Matplotlib
    • Seaborn
  • 机器学习
    • scikit-learn/sklearn
    • XGBoost
    • LightGBM
  • 深度学习
    • Keras
    • TensorFlow
    • PyTorch