摘要：
大模型学到的知识是通过大规模预训练从大量标记和未标记的数据中捕获的。这些知识被存储在大量的参数中，并对特定任务进行微调，以扩展模型的泛化能力。 图：一个由相互连接的节点和数据流组成的庞大网络，其中的节点和连接闪烁着能量，显示出活动和学习的迹象，某些区域被突出显示，代表正在进行的特定任务的微调，这增强 阅读全文
posted @ 2023-11-18 19:28 蝈蝈俊 阅读(719) 评论(0) 推荐(0)
摘要：
计算机科学评估计算复杂性，是看它消耗的资源，具体来说就是时间和内存（空间）。 基于时间和空间复杂性，我们有:\(NL ⊆ P ⊆ NP ⊆ PSPACE ⊆ EXPTIME ⊆ EXPSPACE\) （其中 \(⊆\) 表示子集关系）。 图来自：https://en.wikipedia.org/wi 阅读全文
posted @ 2023-11-16 21:24 蝈蝈俊 阅读(210) 评论(0) 推荐(0)
摘要：
在Linux中，无论是CentOS还是Ubuntu，执行多条命令的方式基本相同，以下是几种常用的方法： 方式 符号 描述 分号，分隔符 ; 依次执行，无视前一个命令的执行结果 逻辑与 && 只有当前一个命令成功执行时，才执行下一个命令 逻辑或 || 当前一个命令失败时，才执行下一个命令 管道 | 将 阅读全文
posted @ 2023-11-15 10:12 蝈蝈俊 阅读(698) 评论(0) 推荐(0)
摘要：
https://arxiv.org/pdf/2304.13712.pdf 这篇论文中有个现代大型语言模型（LLM）的演变树，可以看出：同一分支上的模型关系更为紧密。 图说明： 基于 Transformer 模型以非灰色显示： decoder-only 模型在蓝色分支， encoder-only 模型 阅读全文
posted @ 2023-11-14 13:53 蝈蝈俊 阅读(4958) 评论(0) 推荐(1)
摘要：
Transformer的注意力机制被广泛应用于自然语言处理（NLP）领域中，它主要用于解决序列到序列的模型中长距离依赖问题。 长距离依赖问题 举个例子，考虑这个句子： “The cat, which was very hungry, finally found its food in the kit 阅读全文
posted @ 2023-11-10 22:11 蝈蝈俊 阅读(1400) 评论(0) 推荐(0)
摘要：
词向量是自然语言处理（NLP）中的一个重要概念，它是将词语转换成计算机能理解的数值形式的方法。 图：现实世界的图书、文字会被映射成计算机世界的向量。 简单来说，词向量就是将每个词表示为一个实数向量，使得这些向量能够捕捉词语之间的含义和语义关系。 词向量发展历程 简单来说，进化历程如下： 对比如下表： 阅读全文
posted @ 2023-11-08 17:47 蝈蝈俊 阅读(339) 评论(0) 推荐(0)
摘要：
要让LLMs(Large Language Models，大型语言模型)生成文字，首先得让它们“懂”单词。 什么样算懂单词？可以续写单词就是： 视频：[单词续写演示](media/16985452706037/token01.mp4) 视频，续写：这是它如何***? 有多种选择可供续写的单词，应该用 阅读全文
posted @ 2023-10-29 12:37 蝈蝈俊 阅读(411) 评论(0) 推荐(0)
摘要：
PPA，即Personal Package Archive（个人软件包档案），是**Ubuntu**系统中一个用于存储和分发软件包的在线仓库。 ## PPA的主要功能 * PPA允许开发人员和维护人员将软件包上传到Launchpad()（一个由Canonical Ltd提供支持的项目和代码托管平台） 阅读全文
posted @ 2023-10-27 10:38 蝈蝈俊 阅读(340) 评论(0) 推荐(0)
摘要：
``` # Install music-related libs sudo apt-get install -y libsndfile1-dev sudo apt-get install -y fluidsynth sudo apt-get install -y ffmpeg sudo apt-ge 阅读全文
posted @ 2023-10-25 09:49 蝈蝈俊 阅读(117) 评论(0) 推荐(0)
浙公网安备 33010602011771号