星辰大海

摘要： 矩阵加法，满足结合律和交换律即 结合律： $A + (B + C) = (A + B) + C$ 交换律： $A + B = B + A$ 矩阵乘法，满足结合律，但不适合交换律 结合律： $A (BC) = (A B) C$ 但是一般 $AB \neq BA$ 矩阵乘积的行列式与秩 定理1 设 A， 阅读全文

摘要： 设V是数域P上的n维线性空间，$\epsilon_1, \epsilon_2,...,\epsilon_n$是V的一组基，现在我们来建立线性变换与矩阵的关系。 空间V中的任意向量$\xi$可用被基$\epsilon_1, \epsilon_2,...,\epsilon_n$线性表示，即有表达式 $\ 阅读全文

摘要： 在这一节，我们来介绍线性变换的运算及其简单性质 ###乘法 设$\mathscr {A,B}$是线性空间V上的两个线性变换，定义它们的乘积$\mathscr {AB}$为 $(\mathscr {AB})(\pmb \alpha)=\mathscr A(\mathscr B (\pmb \alpha 阅读全文

摘要： 线性空间是某一类事物从量的方面的一个抽象。我们认识客观事物，固然要弄清楚他们单个的和总体的性质，但更重要的是研究他们之间的各种各样的联系。在线性空间中，事物之间的联系就反映为线性空间的映射。线性空间V到自身的映射通常称为V的一个变换。这一章中要讨论的线性变换是最简单的，同时也可以认为是最基本的一种变 阅读全文

摘要： VIT An image is worth 16x16 words: transformers for image recognition at scale 将transformer首次应用在视觉任务中，并取得了超过CNN方法的性能。 标准的transformer接收一维的向量序列如 $(x_1, 阅读全文

摘要： Outlook Attention 设给定输入为 $X \in R^{H \times W \times C}$, 首先经过两个线性映射得到两个输出A 和 V，A叫做outlook weight $A \in R^{H \times W \times K^4}$, V叫做value represen 阅读全文

摘要： 论文：Learning Transferable Visual Models From Natural Language Supervision CLIP： Contrastive Language-Image Pre-training 文中27个数据集简介： | 数据集| 简要描述 | 数据集类型 阅读全文

摘要： 熵 ##熵—不确定性角度 通常，一个信源发送什么符号是不确定的，衡量它可以根据其出现的概率来度量。概率大，出现的机会就大，不确定性就小；反之不确定性就大。在信源中，考虑的不是某一单个符号的不确定性，而是考虑这个信源所有可能发生情况的平均不确定性。 若信源符号有n种取值:$u_1, u_2, ..., 阅读全文

摘要： “回归（regression）”一词是弗朗西斯·高尔顿在19世纪创造的，用来描述一种生物学现象。该现象是指高大祖先的后代的身高趋向于回归正常平均值。对于高尔顿来说，回归只有这种生物学意义，但是他的工作被Udny Yule 和 Karl Pearson扩展到更一般的统计背景中。 最早的回归形式是最小二 阅读全文

摘要： VAE变分推导依赖数学公式 （1）贝叶斯公式：$p(z|x) = \frac{p(x|z)p(z)}{p(x)}$ （2）边缘概率公式：$p(x) =\int{p(x,z)}dz$ （3）KL 散度公式：$D_{KL}(p||q)=\int{p(x)log\frac{p(x)}{q(x)}}dx$ 阅读全文