Wuhao' Blogs

摘要： 什么要引入 position embedding 对于任何一门语言，单词在句子中的位置以及排列顺序是非常重要的，它们不仅是一个句子的语法结构的组成部分，更是表达语义的重要概念。一个单词在句子的位置或排列顺序不同，可能整个句子的意思就发生了偏差。 I do not like the story of 阅读全文

摘要： 第5章 大模型的数据 大型语言模型背后的数据： 数据来源和广度： 大型语言模型是在原始文本上进行训练的，要求这些文本覆盖广泛的领域、类型和语言。网络是主要的文本来源，而谷歌搜索索引等网络数据庞大。 数据规模： 网络体积巨大，例如，谷歌搜索索引就有100PB。大公司的私有数据集甚至更大，比如沃尔玛每小 阅读全文

摘要： 第3章 模型架构 Encoder-Only 架构 代表模型有BERT、RoBERTa等，它们生成上下文向量表征但不能直接用于生成文本。模型的任务形式通常是分类任务，例如情感分类和自然语言推理任务。在情感分析和自然语言处理任务中，输入是以特殊标记（例如[CLS]）开头的标记化文本序列，输出是相应的任务 阅读全文

摘要： 第二章：大模型的能力 从语言模型适应任务模型 什么是任务? 如何适应（adaptation）？ GPT-3的定量性能结果如何？ 完整的GPT-3模型（davinci）有1750亿个参数。 Language model 困惑度（Perplexity）是自然语言处理和语言模型中的一个重要指标，用于衡量语 阅读全文

摘要： 第一章：大模型基础 什么是语言模型 语言模型是计算自然语言中词序列概率的工具，用于评估句子的自然性和合理性。 模型能够基于概率预测并生成新文本，但实际应用时需考虑意义、连贯性和目的性。 在生成过程中，会借助采样等技术，并结合上下文信息以确保结果既多样又符合用户需求。 自回归语言模型 自回归语言模型（ 阅读全文

摘要： 🚀 还在被 Conda 折磨？试试 Mamba 吧！ 是否你在使用 conda install 安装包时总是报莫名其妙的依赖错误？ 这种情况是否一直困扰着你？ 是否想拥有一个更完美的包管理器呢？ 快来试试 mamba 吧！ 🌟 什么是 Mamba？ Mamba 是一个 conda 的加速器，完全 阅读全文

摘要： Donald Trump’s potential second term in the White House might see Washington stop funding Ukraine, withdraw from NATO, and further cut economic ties w 阅读全文

摘要： 章节知识 自注意力机制包含哪些步骤？ 答： 自注意力机制包含：查询矩阵、键矩阵以及值矩阵；相似度矩阵（通过查询矩阵和键矩阵的点积运算得到）；缩放矩阵（将相似度矩阵进行缩放）；得分矩阵（将缩放后的相似度矩阵进行softmax归一化处理）；注意力矩阵（利用得分矩阵对值向量进行加权求和后的到的，每个向量对 阅读全文

摘要： 论文阅读-（综述文章）Gene regulatory network inference 一、答疑解惑 什么是转录因子？ 答：转录因子（Transcription Factor）是一种蛋白质，它在生物体内发挥着关键的作用，特别是在基因表达调控方面。转录因子并不是蛋白质的一种，而是一类蛋白质的总称，这 阅读全文

摘要： github.com/binjie09/ch… 阅读全文