筷点雪糕侠

摘要： 1.留出法 2.python代码演示 点击查看代码 from sklearn import datasets # 自带数据集 from sklearn.model_selection import train_test_split # 数据集划分 from sklearn.preprocessing 阅读全文

摘要： 1.多分类问题 \(y=argmax_{c=1}^{C}\ f_c(x;w_c)\) \(f_c(x;w_c)=w_c^T x+b_c,\ c\in \{1,...,C\}\) 学习准则 \(转换为条件概率建模\) \(p_{\theta}(y=c|x)\) 模型问题 \(已知 f_c(x;w_c) 阅读全文

摘要： 1.种类 感知器 Logistic回归 Softmax回归 交叉熵和对数似然 支持向量机 Softmax回归是多分类，其他都是二分类 #2.线性回归模型 \(f(x;w,b)=w^Tx +b ,y\in R\) #3.线性分类模型 $g(f(x;w))=\begin{cases} 1 & if\ f 阅读全文

摘要： 1.自动微分概念 自动微分是利用链式法则来自动计算的一个复合函数的梯度 2.计算图 3.案例 \(f(x,w,b)=\frac{1}{e^{-wx+b}+1}\) 计算步骤 \(\frac{\partial f(x;w,b)}{\partial w}=\frac{\partial f(x;w,b)} 阅读全文

摘要： https://www.bilibili.com/video/BV17D4y1o7J2 wiki https://en.wikipedia.org/wiki/Metropolis%E2%80%93Hastings_algorithm 知乎-介绍了为什么pdf(loc=x_start)的好处 http 阅读全文

摘要： 在神经网络学习中,个人认为有两块十分重要的理论知识对理解神经网络的工作由重要的意义,一个是许志钦老师讲解的F-principle,阐述了为什么神经网络不会过拟合,另外一个就是通用近似定理,解释了为什么神经网络不需要知道问题的目标函数就可以拟合 B站视频讲解 www.bilibili.com/vide 阅读全文

摘要： 1.神经网络 神经网络最早是作为一种主要的连接主义模型。 20世纪80年代后期，最流行的一种连接主义模型是分布式并行处理（Parallel Distributed Processing，PDP）网络，其有3个主要特性： 1）信息表示是分布式的（非局部的）； 2）记忆和知识是存储在单元之间的连接上； 阅读全文

摘要： 教材 https://www.bilibili.com/video/BV13b4y1177W 符号 含义 \(d\) 维数 \(b\) 偏置项 1.神经元模型 \(z=\sum_{i=1}^{d}w_ix_i +b = w^T x +b\) 2.激活函数 ##性质 ###连续并可导（允许少数点上不可 阅读全文

摘要： 材料 https://www.bilibili.com/video/BV17D4y1o7J2 1.随机抽样问题 \(假设已知随机变量X的概率密度函数f(x),求X^2的期望?\) \(可以通过公式E(g(X))=\int_{-\infty}{+\infty}f(x)g(x)dx,令g(X)=X^2即 阅读全文

摘要： 条件概率（Conditional Probability） \(对于离散随机向量(X,Y )，已知X = x的条件下，随机变量Y = y的条件概率为：\) \(p(y|x)=P(Y=y|X=x)=\frac{p(x,y)}{p(x)}\) #贝叶斯公式 \(两个条件概率p(y|x)和p(x|y)之间 阅读全文