摘要： 简述 按个人偏好和目标总结了学习目标和路径（可按需学习），后续将陆续整理出相应学习资料和资源。 🎯学习目标 熟悉主流LLM（Llama, ChatGLM, Qwen）的技术架构和技术细节；有实际应用RAG、PEFT和SFT的项目经验 较强的NLP基础，熟悉BERT、T5、Transformer和G 阅读全文

摘要： 一、Transformer概述 Transformer是由谷歌在17年提出并应用于神经机器翻译的seq2seq模型，其结构完全通过自注意力机制完成对源语言序列和目标语言序列的全局依赖建模。 Transformer由编码器和解码器构成。下图展示了它的结构，其左侧和右侧分别对应着编码器（Encoder） 阅读全文

摘要： 一、配置环境 1、打开colab，创建一个空白notebook，在[修改运行时环境]中选择15GB显存的T4 GPU. 2、pip安装依赖python包 !pip install --upgrade accelerate !pip install bitsandbytes transformers_ 阅读全文

摘要： 一、MicroGrad MicroGrad是大牛Andrej Karpathy写的一个非常轻量级别的神经网络库（框架），其基本构成为一个90行python代码的标量反向传播（自动微分）引擎，以及在此基础上实现的神经网络层。 其介绍如下： A tiny scalar-valued autograd e 阅读全文

摘要： 一、数学优化 1.1 定义 Mathematical Optimization（数学优化）问题，亦称最优化问题，是指在一定约束条件下，求解一个目标函数的最大值（或最小值）问题。 根据输入变量 𝑿 的值域是否为实数域，数学优化问题可分为离散优化问题和连续优化问题。 在连续优化问题中，根据是否有变量的 阅读全文

摘要： // resizable array /* Think about a set of functions that provide a mechanism of resizable array of int. • Growable • Get the current size • Access to 阅读全文

摘要： 一、K-Means K-Means是GMM的特例（硬聚类，基于原型的聚类）。假设多元高斯分布的协方差为0，方差相同。 K-Means算法思想 对于给定的样本集，按照样本间的距离，将样本集划分为K个簇。 簇内的点尽量紧密连接，而簇间的距离尽量的大。 本质上是个组合优化问题， 类似于将N个球分配到K个箱 阅读全文

摘要： 前言 正则化是一种广泛用于机器学习和深度学习的手段，它的目的就是阻碍模型过度学习（过拟合），从而提升算法的泛化能力。 Dropout 是一种常见的缓解过拟合的方法。接下来，本文将从原理和实践来介绍Dropout技术。 一、Dropout原理 丢弃法（Dropout Method）：在训练一个深度神经 阅读全文

摘要： 一、安装和使用 官网下载安装Cursor，然后创建一个代码文件。Ctrl + K生成， Ctrl + L提问。 默认每小时30词。 1. Try generating with command K on a new line. Ask for a pytorch script of a feedfo 阅读全文

摘要： GPT，GPT-2，GPT-3 论文精读【论文精读】_哔哩哔哩_bilibili ELMo：将上下文当作特征，但是无监督的语料和我们真实的语料还是有区别的，不一定符合我们特定的任务，是一种双向的特征提取。 OpenAI GPT: 通过transformer decoder学习出来一个语言模型，不是固 阅读全文