摘要：
一、数学优化 1.1 定义 Mathematical Optimization（数学优化）问题，亦称最优化问题，是指在一定约束条件下，求解一个目标函数的最大值（或最小值）问题。 根据输入变量 𝑿 的值域是否为实数域，数学优化问题可分为离散优化问题和连续优化问题。 在连续优化问题中，根据是否有变量的 阅读全文
摘要：
// resizable array /* Think about a set of functions that provide a mechanism of resizable array of int. • Growable • Get the current size • Access to 阅读全文
摘要：
一、K-Means K-Means是GMM的特例（硬聚类，基于原型的聚类）。假设多元高斯分布的协方差为0，方差相同。 K-Means算法思想 对于给定的样本集，按照样本间的距离，将样本集划分为K个簇。 簇内的点尽量紧密连接，而簇间的距离尽量的大。 本质上是个组合优化问题， 类似于将N个球分配到K个箱 阅读全文
摘要：
前言 正则化是一种广泛用于机器学习和深度学习的手段，它的目的就是阻碍模型过度学习（过拟合），从而提升算法的泛化能力。 Dropout 是一种常见的缓解过拟合的方法。接下来，本文将从原理和实践来介绍Dropout技术。 一、Dropout原理 丢弃法（Dropout Method）：在训练一个深度神经 阅读全文
摘要：
一、安装和使用 官网下载安装Cursor，然后创建一个代码文件。Ctrl + K生成， Ctrl + L提问。 默认每小时30词。 1. Try generating with command K on a new line. Ask for a pytorch script of a feedfo 阅读全文
摘要：
GPT，GPT-2，GPT-3 论文精读【论文精读】_哔哩哔哩_bilibili ELMo：将上下文当作特征，但是无监督的语料和我们真实的语料还是有区别的，不一定符合我们特定的任务，是一种双向的特征提取。 OpenAI GPT: 通过transformer decoder学习出来一个语言模型，不是固 阅读全文
摘要：
一、BERT原理 1、概述 背景：通过在大规模语料上预训练语言模型，可以显著提高其在NLP下游任务的表现。 动机：限制模型潜力的主要原因在于现有模型使用的都是单向的语言模型（例如GPT），无法充分了解到单词所在的上下文结构（主要是在判别性任务上，分类、抽取等）。 Idea: 受完形填空的启发，BER 阅读全文
摘要：
一、熵（PRML） 考虑将A地观测的一个随机变量x，编码后传输到B地。 这个随机变量有8种可能的状态，每个状态都是等可能的。为了把x的值传给接收者，需要传输一个3-bits的消息。注意，这个变量的熵由下式给出: ⾮均匀分布⽐均匀分布的熵要⼩。 如果概率分布非均匀，同样使用等长编码，那么并不是最优的。 阅读全文
摘要：
一、Transformer Transformer最开始用于机器翻译任务，其架构是seq2seq的编码器解码器架构。其核心是自注意力机制： 每个输入都可以看到全局信息，从而缓解RNN的长期依赖问题。 输入： （待学习的）输入词嵌入 + 位置编码（相对位置） 编码器结构： 6层编码器： 一层编码器 = 阅读全文
摘要：
一、背景 编码是信息处理的基础（重新表示信息）。 普通的编码是等长编码，例如7位的ASCIL编码，对出现频率不同的字符都使用相同的编码长度。但其在传输和存储等情况下编码效率不高。 可使用不等长编码，来压缩编码：高频字符编码长度更短，低频字符编码长度更长。 [例] 将百分制的考试成绩转换成五分制的成绩 阅读全文