09 2022 档案
摘要：假设有以下方程组： $$ \begin{aligned} xy&=3,\ y&=x \end{aligned} $$ 他们的图像如下： 如果我们要找到同时满足两个等式的点，该怎么做呢？ 也许会想到联立方程组，但是为什么联立呢？或许在我说之前，还想不到要联立。 我们知道，满足式$xy=3$的点都在上图
阅读全文
摘要：假定数据集$T={(x_1,y_1),(x_2,y_2),...,(x_n,y_n)}，x_n \in R_k, y_n \in {1,-1}$线性可分,SVM的优化目标是：优化一个超平面的参数，使得这个超平面，能够正确划分两类数据，并且，距离（动词），两类数据最近的那个点，的距离最大。 tip:
阅读全文
摘要：首先来看看三维的： 如下图所示，在三维空间中，假设平面$U={x \in R^3|0=W^T·x+b, b \in R, W \in R^2}$,$W$为$U$的法向量；平面外一点$X$，$U$内一点$X'$,那么$X$到$U$的距离为： $$ \begin{aligned} L &= |X-X'|
阅读全文
摘要：以二维为例子： 首先，向量内积的定义为： $$ a·b = |a||b|cos\theta \tag{1.1}\label{1.1} $$ 其中， $$ a = (a_1,a_2)\ b = (b_1,b_2) $$ 根据余弦定理： $$ cos\theta = \frac{|b|^2+|a|^2-
阅读全文
摘要：参考文献 [1] https://blog.csdn.net/denghecsdn/article/details/77313758 以下是我阅读其之后的一些总结。 超平面的定义 n 维空间中的超平面由下面的方程确定[1]: $$ w^Tx+b=0 $$ 其中， $$ \begin{aligned}
阅读全文
摘要：参考文章： https://blog.csdn.net/tailonh/article/details/120544719 正如上文所说，原因之一在于： 1、首先要除以一个数，防止输入softmax的值过大，导致偏导数趋近于0； 2、选择根号d_k是因为可以使得q*k的结果满足期望为0，方差为1的分
阅读全文
摘要：数学期望的定义： 离散型： $$ E(X) = \sum_{i=-\infty}^{+\infty}p_ix_i $$ 连续型： $$ E(X)=\int^{+\infty}_{-\infty}{f(x)xdx} $$ 其中，$f(x)$为概率密度函数。 连续型的表达式可以由离散型的表达式推导得到：
阅读全文
摘要：可以参考这篇文章： Maxout激活函数原理及实现 - 简书 (jianshu.com) 其中文章中的这张图片是精华. 另外我觉得还可以这样子理解: 也就是说，从左到右做线性层运算，然后堆叠起来，在列方向取最大值作为max out的输出。（画的有点丑つ﹏⊂）
阅读全文
摘要：The McCulloch-Pitts Neuron (McCulloch and Pitts, 1943) was an early model of brain function. This linear model could recognize two different categorie
阅读全文
摘要：其实很简单，求出线性回归表达式的解析解就好了，还不需要使用梯度下降法。 方法如下： 假设损失函数为(推导提示看文末图）： $J(θ) = \frac{1}{2}\sum_{i=1}^n(h_θ(x^{(i)}-y^{(i)})^2=\frac{1}{2}(X\theta-Y)^T(X\theta-Y
阅读全文