摘要： 相关系数和特征选择 相关系数和特征选择，一个是属性，一个是特征。一般，把数据集中的各列成为属性，而对算法模型表现有益的属性成为特征。例如，在预测泰坦尼克乘客的存活情况时，乘客姓名这个属性对我们的预测可能没有帮助，甚至会干扰模型表现；而乘客年龄、性别或许与存活情况有很强的关系，这时，可以称他们为特征。 阅读全文

摘要： Pytorch-Lightning 可以在Pytorch的库Pytorch-lightning中找到我们在这里讨论的每一个优化。Lightning是在Pytorch之上的一个封装，它可以自动训练，同时让研究人员完全控制关键的模型组件。Lightning使用最新的最佳实践，并将你可能出错的地方最小化。 阅读全文

摘要： 数据切片 数据切片，又被称为数据分片，是一种在处理大规模数据集时，将数据划分为多个较小部分的方法。这种方法可以让我们更有效地处理和分析数据，尤其是在处理大规模数据集时，数据切片技术可以显著提高处理速度和效率。 数据切片技术的主要目的是提高数据处理的速度和效率，同时保证数据的完整性和一致性。数据切片可 阅读全文

摘要： with torch.no_grad() 在深度学习的世界里，模型训练与评估是两个相互独立却又紧密相连的过程。训练时我们需要梯度来更新模型参数，但在评估阶段，梯度计算则称为了不必要的负担。with torch.no_grad()正是为此而生 它允许我们在不记录梯度的情况下执行前向传播，从而节省内存并 阅读全文

摘要： 基本思路 把一堆真实样本通过编码器网络变换成一个理想的数据分布，然后这个数据分布再传递给一个编码器网络，得到一堆生成样本，生成样本与真实样本足够接近的话，就训练出了一个自编码器模型。那VAE就是在自编码器模型上进一步变分处理，使得编码器的输出结果能对应到目标分布的均值和方差，如下图所示： VAE的设 阅读全文

摘要： Oord等人的这篇论文提出了使用离散潜在嵌入进行变分自动编码的想法。提出的模型成为向量量化变分自动编码器 基本思想 VAE由3部分组成： 1.一个编码器网络，参数化潜在的后验\(q(z|x)\) 2.先验分布\(p(z)\) 3.输入数据分布为\(p(x|z)\)的解码器 通常我们假设先验和后验呈对 阅读全文

摘要： 1. TimeMixer++: A General Time Series Pattern Machine for Universal Predictive Analysis 链接：https://openreview.net/forum?id=1CLzLXSFNn 关键词：多任务（预测，分类，插补 阅读全文

摘要： MMD MMD 用于检验两组数据是否来源于同一分布，即假设\(D_s = (x_1, x_2, \cdots, x_n) \sim P(x)\)和\(D_t = (y_1, y_2, \cdots, y_n) \sim Q(x)\)，MMD用于检验\(P=Q\)是否成立。 KL散度 KL散度定义是 阅读全文

摘要： transformer的整体结构 在机器翻译中，transformer可以将语言翻译成另一种语言，如果把transformer看成一个黑盒，那么其结构如下图所示： 拆开这个黑盒子，可以看到transformer由若干个编码器和解码器组成，如下图所示： 继续讲encoder和decoder拆开，可以看 阅读全文

摘要： 自注意力机制 针对输入是一组向量，输出也是一组向量，输入长度为N的向量，输出同样为长度为N的向量。 单个输出 对于每一个输入向量a，经过蓝色部分self-attention之后都输出一个向量b，这个向量是考虑了所有的输入向量对a1产生的影响才得到的，这里有四个词向量a对应就会输出四个向量b。 下面以 阅读全文