chirp

摘要： 本文总结 Transformer 和 attention 机制相关的 trick。留下学习痕迹。 Multi Query Attention (MQA) 早在 2019 年就被提出，但最近才被重视。 相比 Multi Head Attention，MQA 让多头注意力层的各个 head 共享同一份 阅读全文

摘要： 阅读 demucs 代码时，发现对频率维度有这样的操作： add frequency embedding to allow for non equivariant convolutions over the frequency axis. 但什么是非等变卷积？非等变性又是什么？ 等变性 equiva 阅读全文

摘要： 简介 Python3.2 带来了 concurrent.futures 模块，借此能够快速使用线程池和进程池。 对于不需要控制优先级与资源分配的多任务，使用 concurrent.futures 模块快捷优雅。 示例代码与效果 import concurrent.futures import tim 阅读全文

摘要： 归一化Normalization BatchNorm 的初衷是解决 Internal Covariate Shift 问题。尽可能将 mini-batch 归一化到标准正态分布，使得网络层的输出分布趋于稳定。 Internal Covariate Shift 问题简单来说，是网络学习更新权重后可能会 阅读全文

摘要： 概述 长短期记忆 LSTM（Long Short Term Memory），该类型的神经网络可以利用上输入数据的时序信息。对于需要处理与顺序或时间强相关数据的领域（自然语言处理、天气预测等）相当合适。 GRU（Gate Recurrent Unit）可以视为 LSTM 的简化版本。运算量更小，却能达 阅读全文

摘要： 概述 变分自编码器（Variational Auto-Encoders，VAE）是自编码器 AE 的变体，由 Kingma 等人于 2014 年提出的生成式网络结构。以概率的方式描述潜在空间，在数据生成方面潜力巨大。 自编码器 AE 自编码器（Auto-Encoder，AE），是一种无监督式学习模型 阅读全文

摘要： 参考这个问答，有两种方法。 第一种，在定义 nn.Sequential 时传入 OrderedDict 类型变量。 import collections import torch model = torch.nn.Sequential( collections.OrderedDict( [ ("co 阅读全文

摘要： 概述 激活函数（Activation functions）能令神经网络产生非线性变化，增强网络表达能力，在设计网络时必不可少。 各种激活函数 激活函数 表达式 第一印象 Sigmoid \(\frac{1}{1+e^{-x}}\) 最早使用的激活函数之一 Tanh \(\frac{e^{2x}-1} 阅读全文

摘要： 自定义 Dataset 类 PyTorch 允许自定义 Dataset 类，并由此获得 DataLoader，能方便训练时获得 batch： from torch.utils.data import DataLoader, Dataset import h5py import os class Ra 阅读全文

摘要： PID 控制算法 PID 是一种用于调节系统的反馈控制方法，简单有效广泛用于数据控制，其名称代表三个主要的控制参数：比例（Proportional）、积分（Integral）、和微分（Derivative）。 例如往水缸加一米深的水，我加水的速度应当由以下三点决定： 当前水深距离目标的差距。差距越大 阅读全文