摘要：机器学习方法：有监督学习，无监督学习，强化学习 有监督学习：有标签有目标 无监督学习：无标签，无目标 强化学习：过程模拟和观察进行学习。 强化学习 策略：在特定状态下应该怎么采取行动。 目标：找到最佳策略，即能够获得最大奖励的策略。 数学模型：马尔可夫决策过程（MDP） 强化学习方法形式化为MDP， 阅读全文

摘要：应用 图像识别：IMAGENET。 机器翻译：Google神经机器翻译系统。 语音识别： 以往GMM-HMM传统方法一直未有突破，2011年使用DNN后获得较大突破，2015年，IBM再次将错误率降低到6.9%，接近人类的平均水平（4%） 游戏：DeepMind团队开发的自我学习玩游戏的系统。 发展 阅读全文

摘要：维度灾难：随着维度（如特征或自由度）的增多，问题的复杂性（或计算算代价）呈指数级增长的现象。 高维空间的反直觉示例：单位球体积： 一维，二维，三维的 长度/面积/体积 都有公式计算，而高维的计算公式是这样的： d维空间半径为r的球体体积公式： 单位球体积与维度之间的关系图示： 在高维空间中，球体内部 阅读全文

摘要：机器学习的优化目标 最小化损失函数： 模型——损失函数——表达式： 图示： 方法 梯度下降： batch梯度下降：使用全部训练集样本，计算代价太高（n~10^6） mini-batch梯度下降：随机采样一个子集（m~100或1000），随后使用如下公式： mini-batch是无偏估计。更大的批量会 阅读全文

摘要：特征向量：设A是n阶方阵，如果有常数λ和n维非零列向量α的关系式Aα=λα成立，则称λ为方阵A的特征值，非零向量α称为方阵A的对应于特征值λ的特征向量。 特征值分解： 在python中使用numpy工具就可以实现。 降维 定义：将数据的特征数量从高维转换为低维。 作用：解决高维数据的维度灾难问题的一 阅读全文