摘要: 什么是梯度向量 在定义域为n维的空间中,给定一个函数$F: R^n \rightarrow R$,梯度向量这个向量为n-1维的向量,代表着函数$F$在某一点$p$,$p$应该往哪个方向走,使得函数$F$的增长最快。即,那个方向,函数$F$的定义域内,从点$p$出发的那个向量,为梯度。 the vec 阅读全文
posted @ 2022-10-20 22:26 Hisi 阅读(1910) 评论(0) 推荐(0) 编辑
摘要: 首先我们来看看一个实例: $$ \begin{aligned} &min &f(x,y)&=x^2+y^2\ &s.t. &xy&=3 \end{aligned} $$ 即:在定义域$xy=3$内,求$f(x,y)$的最小值。 两个函数的图像如下: $z=x^2+y^2$ $xy=3$ 让我们把两个 阅读全文
posted @ 2022-10-03 09:41 Hisi 阅读(544) 评论(0) 推荐(0) 编辑
摘要: 考虑约束最优化问题: $$ \begin{aligned} &min &&f(x) \ &s.t. &&c_i(x)\leq 0, i=1,2,...,l,\ &&&h_i(x) = 0,i=l+1,l+2,...,n \end{aligned} $$ 拉格朗日化后为: $$ \begin{alig 阅读全文
posted @ 2022-10-03 09:06 Hisi 阅读(126) 评论(0) 推荐(0) 编辑
摘要: 假设有以下方程组: $$ \begin{aligned} xy&=3,\ y&=x \end{aligned} $$ 他们的图像如下: 如果我们要找到同时满足两个等式的点,该怎么做呢? 也许会想到联立方程组,但是为什么联立呢?或许在我说之前,还想不到要联立。 我们知道,满足式$xy=3$的点都在上图 阅读全文
posted @ 2022-09-26 20:46 Hisi 阅读(738) 评论(0) 推荐(0) 编辑
摘要: 假定数据集$T={(x_1,y_1),(x_2,y_2),...,(x_n,y_n)},x_n \in R_k, y_n \in {1,-1}$线性可分,SVM的优化目标是:优化一个超平面的参数,使得这个超平面,能够正确划分两类数据,并且,距离(动词),两类数据最近的那个点,的距离最大。 tip: 阅读全文
posted @ 2022-09-24 23:14 Hisi 阅读(589) 评论(0) 推荐(0) 编辑
摘要: 首先来看看三维的: 如下图所示,在三维空间中,假设平面$U={x \in R^3|0=W^T·x+b, b \in R, W \in R^2}$,$W$为$U$的法向量;平面外一点$X$,$U$内一点$X'$,那么$X$到$U$的距离为: $$ \begin{aligned} L &= |X-X'| 阅读全文
posted @ 2022-09-24 11:23 Hisi 阅读(147) 评论(0) 推荐(0) 编辑
摘要: 以二维为例子: 首先,向量内积的定义为: $$ a·b = |a||b|cos\theta \tag{1.1}\label{1.1} $$ 其中, $$ a = (a_1,a_2)\ b = (b_1,b_2) $$ 根据余弦定理: $$ cos\theta = \frac{|b|^2+|a|^2- 阅读全文
posted @ 2022-09-23 10:19 Hisi 阅读(633) 评论(0) 推荐(0) 编辑
摘要: 参考文献 [1] https://blog.csdn.net/denghecsdn/article/details/77313758 以下是我阅读其之后的一些总结。 超平面的定义 n 维空间中的超平面由下面的方程确定[1]: $$ w^Tx+b=0 $$ 其中, $$ \begin{aligned} 阅读全文
posted @ 2022-09-23 08:49 Hisi 阅读(305) 评论(0) 推荐(0) 编辑
摘要: 参考文章: https://blog.csdn.net/tailonh/article/details/120544719 正如上文所说,原因之一在于: 1、首先要除以一个数,防止输入softmax的值过大,导致偏导数趋近于0; 2、选择根号d_k是因为可以使得q*k的结果满足期望为0,方差为1的分 阅读全文
posted @ 2022-09-20 08:40 Hisi 阅读(2232) 评论(0) 推荐(0) 编辑
摘要: 数学期望的定义: 离散型: $$ E(X) = \sum_{i=-\infty}^{+\infty}p_ix_i $$ 连续型: $$ E(X)=\int^{+\infty}_{-\infty}{f(x)xdx} $$ 其中,$f(x)$为概率密度函数。 连续型的表达式可以由离散型的表达式推导得到: 阅读全文
posted @ 2022-09-19 22:09 Hisi 阅读(1096) 评论(0) 推荐(0) 编辑