_Aming

摘要： 维度灾难：随着维度（如特征或自由度）的增多，问题的复杂性（或计算算代价）呈指数级增长的现象。 高维空间的反直觉示例：单位球体积： 一维，二维，三维的 长度/面积/体积 都有公式计算，而高维的计算公式是这样的： d维空间半径为r的球体体积公式： 单位球体积与维度之间的关系图示： 在高维空间中，球体内部 阅读全文

摘要： 机器学习的优化目标 最小化损失函数： 模型——损失函数——表达式： 图示： 方法 梯度下降： batch梯度下降：使用全部训练集样本，计算代价太高（n~10^6） mini-batch梯度下降：随机采样一个子集（m~100或1000），随后使用如下公式： mini-batch是无偏估计。更大的批量会 阅读全文