摘要：import numpy as np from sklearn.datasets import load_breast_cancer import sklearn.linear_model from numpy.linalg import inv # numpy.linalg 是处理线性代数的包，inv为矩阵求逆 #sigmoid函数 def sigmoid(x): # Sigm... 阅读全文

摘要：第七章 贝叶斯分类器 7.1 贝叶斯决策论 贝叶斯决策论就是在概率框架下实施决策的基本方法。类比于最小二乘法。对于分类任务，在所有相关概率已知的情况下，贝叶斯决策轮考虑如何基于概率和误判损失来选择最优的类别标记。 对于有N种可能的标记类别的预测，是将一个真实标记为cj的样本误分类为ci样本所产生的损 阅读全文

摘要：第3章 线性模型 3.2 线性回归 将训练集中的特征和标记拟合到某个线性函数上，然后运用此线性函数寻找测试集中特征对应的标记（预测）。 对属性（特征）的描述：对离散属性，若属性值间存在“序”关系，可通过连续化将其转化为连续值。如属性“身高”的取值高、中、低可转化为{1.0, 0.5, 0.0}；若属 阅读全文

摘要：最优化方法是一种数学方法，它是研究在给定约束之下如何寻求某些因素(的量)，以使某一(或某些)指标达到最优的一些学科的总称。在学习机器学习的过程中我们发现，大部分的机器学习算法的本质都是建立优化模型，通过最优化方法对目标函数（或损失函数）进行优化，从而训练出最好的模型。常见的最优化方法有梯度下降法、牛 阅读全文

摘要：梯度下降算法的简单理解 1 问题的引出 在线性回归模型中，先设一个特征x与系数θ1，θ0，最后列出的误差函数如下图所示： 手动求解 目标是优化得到其最小化的J(θ1)，下图中的×为y(i)，下面给出TrainSet：{(1,1),(2,2),(3,3)}通过手动寻找来找到最优解，由图可见当θ1取1时 阅读全文