集思摘

摘要： 线性判别分析 线性判别分析中有降维，把数据都投影到同一条线上，然后在直线上取一个阈值，将直线分成两条射线，每一条代表一个分类。会损失一些数据信息，但如果这些信息是一些干扰信息，丢失也未尝不是好事。 线性判别分析之后的结果是一个向量，其他的不行吗？ 主要指导思想(目标)：类内小，类间大。 公式推导 我 阅读全文

摘要： 线性回归 导入库 import numpy as np import pandas as pd import matplotlib.pyplot as plt 人工数据集 ''' n = 100 true_theta = np.array([[1], [1]]) X = np.insert(np.r 阅读全文

摘要： 损失函数推导 线性回归 首先损失函数是为了衡量模型预测的数据与真实数据之间的区别，那么问题来了为什么是平方损失，而不是绝对值损失，四次方损失。 一个很浅显的理解：二次方简单,导数是线性的且连续，而且离预测值远的值会被放大。 推导 假设模型已被训练到最佳，这时候与真实值必然会存在一些误差。比如房子供应 阅读全文

摘要： 局部加权线性回归 依赖 import numpy as np import matplotlib.pyplot as plt 人工数据集 n = 100 true_theta1 = np.array([1, 2]).reshape(-1,1) true_theta2 = np.array([16, 阅读全文

摘要： 矩阵求导 开局一张图 分子布局与分母布局 并没完全理解，但我认为不是学数学的，不需要了解的太过细，只需要记住求导后矩阵的形状就可以了 链式法则 链式法则不变，一定要注意一个列向量对标量求导会成为一个行向量. 重要公式 $$ \begin{array}{l} \frac{\partial \pmb{x 阅读全文