机器学习基础

降噪:存在一个未知的损坏过程,该过程可以根据输入的正确样例生成损坏样例。而降噪就是对抗该未知的损坏过程用的,它根据损坏过程得到的损坏样例反过来预测出正确的样例。

密度估计或者概率分布函数估计:描述为模型相比别的任务隐式地捕捉样本结构,密度估计需要显式地知道样本的结构,还需要知道样本簇在哪里集中,在哪里分散,从而根据这个结果能够完成下游任务。个人理解就是其他都是判别任务,而这个是生成任务。

容量(capacity),过拟合,欠拟合

容量(其实还可以翻译成能力),如果可以在一个数据集上很难学习,那么就是low capacity;如果很轻松地过拟合,那就是high capactiy。

泛化generalization

  • 奥卡姆剃刀原则
  • VC维(Vapink-Chervonenkis dimension)
  • 超参数和验证集
  • 交叉验证

评估器、偏置、方差

  • 点估计(point estimation)
  • 函数估计(function estimation)

极大似然估计

  • 条件对数估计和均方差

贝叶斯统计

监督学习算法

无监督学习算法

  • PCA
  • k-means聚类

随机梯度下降

构建一个机器学习算法

激励深度学习的挑战

  • 维度灾难
  • 局部常量化和平滑正则
  • 流学习(manifold learning)

  • continuous vs discrete 连续的 vs 离散的
  • implicit vs explicit 隐式地 vs 显式地
  • fine-grained vs coarse-grained 细粒度 vs 粗粒度
  • intrinsic vs extrinsic 固有的,内在的,本身的 vs ...
  • tractable vs intractable 易处理的 vs ...
  • rigid/rigorous/strict 严格的,严厉的,死板的
  • anomaly 异常
posted @ 2021-02-21 16:57  YoungF  阅读(47)  评论(0编辑  收藏  举报