随笔分类 - 机器学习
摘要：1. 线性可分支持向量机 线性可分支持向量机（Linearly Separable Support Vector Machine）是支持向量机中的一种特例，用于解决线性可分的分类问题。它的目标是找到一个超平面，将不同类别的数据点分隔开，同时最大化分类的间隔。 首先，我们来定义线性可分的SVM的目标函
阅读全文
摘要：1. 线性回归 \[w = (X^TX)^{-1}X^TY \]对于矩阵X，若某些列线性相关性较大(即训练样本中某些属性线性相关 )，就会导致\(X^TX\)的值接近0，在计算\((X^TX)^{-1}\)时就会出现不稳定性。 结论:传统的基于最小二乘的线性回归法缺乏稳定性 2.岭回归 通常情况下会
阅读全文
摘要：1.多项式回归介绍 在一元回归分析中，如果依变量y与自变量X的关系为非线性的，但是又找不到适当的函数曲线来拟合，则可以采用一元多项式回归 多项式回归的最大优点就是可以通过增加X的高次项对实测点进行逼近，直至满意为止。 事实上，多项式回归可以处理相当一类非线性问题，它在回归分析中占有重要的地位，因为任
阅读全文
摘要：1. 导入包 import numpy as np import matplotlib.pyplot as plt from sklearn import linear_model 2. 加载训练数据 # 建立datasets_X和datasets_Y用来存储数据中的房屋尺寸和房屋成交价格。 dat
阅读全文
摘要：1. sklearn数据集 波士顿房价数据集 波士顿房价数据集包含506组数据，每条数据包含房屋以及房屋周围的详细信息。其中包括城镇犯罪率、一氧化氮浓度、住宅平均房间数、到中心区域的加权距离以及自住房平均房价等。因此，波士顿房价数据集能够应用到回归问题上。 使用sklearn.datasets.lo
阅读全文
摘要：1. 定义 欠拟合的偏差过大，过拟合的方差过高 上图分别为：欠拟合，正常，过拟合 图片中的是多项式回归任务。图一左边的应该是欠拟合，没有将x与o正确分类，中间的是正常的，右边的是过拟合，原因在与x的n次方中的n这个超参数设置太大，导致对训练数据过于拟合，此时应引入正则化项来惩罚次数较高从而导致过大的
阅读全文
摘要：1. 分类 1.1 motivation 只有两种分类结果的问题成为二分类问题，通常使用0指代false，1指代true 样本也可分为负样本(negative class)和正样本(positive class)，例如针对邮件是否为垃圾邮件的问题，正常邮件就是负样本，垃圾邮件就是正样本 由此可知，正
阅读全文
摘要：1. 机器学习中两个主要问题 1.1 回归 1.2 分类 分类是可交换的，可以将狗称为第一类，猫是第二类，也可以反过来。 卷积是可交换的 上式是分类的损失函数，\(y\)是0或1，\(\hat {y} \epsilon [0 , 1]\) 2. 数学过程 上图就是卷积的运算 后证明：若\(u(x)
阅读全文
摘要：1. 一元线性回归 1.1 原理 \[y = ax + b \]1.2 最小二乘估计 基于均方误差最小化来进行模型求解的方法称为“最小二乘法 \[\begin{aligned} E_{(w, b)} & =\sum_{i=1}^{m}\left(y_{i}-f\left(x_{i}\right)\r
阅读全文
摘要：1. 绪论 学到什么程度： 1.1 基本术语 特征：反映事件或对象在某方面的表现或性质的事项，例如"色泽""根蒂" "敲声"，称为"属性" (attribute) 或"特征" (feature); 样本空间：属性张成的空间称为"属性空间" (attribute space) "样本空间" (samp
阅读全文
摘要：1. 多元特征 这种具有多个输入特征的线性回归模型被称为，多元线性回归 2. 向量化及Numpy numpy官方说明链接 NumPy 是一个库，它扩展了 python 的基本功能，增加了更丰富的数据集，包括更多数字类型、向量、矩阵和许多矩阵函数。NumPy 和 python 可以无缝协作。Pytho
阅读全文
摘要：Datawhale机器学习地址 1. 监督学习和无监督学习 监督学习有规定的输入输出，无监督学习没有 监督学习的两种主要类型：回归和分类 举例无监督学习： 聚类(clustering algorithm)：例如将搜索界面将相关的新闻关联在一起、找到DNA有共性的分组、分析主要用户需求 异常检测(an
阅读全文
浙公网安备 33010602011771号