随笔分类 -  基础知识(概率论与统计、线性代数)

摘要：优化方法 阅读全文

摘要：原文地址激活函数和损失函数 这一部分来探讨下激活函数和损失函数。在之前的logistic和神经网络中，激活函数是sigmoid, 损失函数是平方函数。但是这并不是固定的。事实上，这两部分都有很多其他不错的选项，下面来一一讨论 激活函数和损失函数 激活函数 关于激活函数，首先要搞清楚的问题是，激活函数 阅读全文

摘要：由于是在自学机器学习过程中随手写的，所以比较乱，就是看到那个知识点不会就写下来。 满秩矩阵 设A是n阶矩阵, 若r（A） = n, 则称A为满秩矩阵。但满秩不局限于n阶矩阵。 若矩阵秩等于行数，称为行满秩；若矩阵秩等于列数，称为列满秩。既是行满秩又是列满秩则为n阶矩阵即n阶方阵。行满秩矩阵就是行向量 阅读全文

摘要：机器学习算法完整版见fenghaootong-github 模型评估与选择 经验误差与过拟合 评估方法 性能度量 比较检验 偏差与方差 经验误差与过拟合 误差率：分类错误的样本数占样本总数的比例 精度：1 - 错误率 误差：学习器的实际预测输出与样本的真实输出之间的差异 过拟合：训练样本学的太好，就 阅读全文