摘要：Sentencepiece是google开源的文本Tokenzier工具，其主要原理是利用统计算法，在语料库中生成一个类似分词器的工具，外加可以将词token化的功能；对比开源的分词器，它会将频繁出现的字符串作为词，然后形成词库进行切分，所以它会切分的粒度会更大些。当前各个大模型的分词器基本都是基于 阅读全文

摘要：难点：由于langchain采用的是硬切分文档的方式，导致文档分割不够准确，例如：在文档中若有分点描述的情况，对文档硬性分割后，会把各个重点分隔开，导致后续向量召回时，片段是残缺的。如： 如果硬性分割文档，则在召回阶段拿不到所有的通知信息。 解决方案：考虑使用语义分析的方式来分割文档，BERT模型训 阅读全文

摘要：最近看到一篇推文是在不量化、不损失精度的情况下使用一张16G的显卡推理70B的大模型。方案来自于kaggle的一个方案，具体流程为： 1.创建一个空的（例如，没有权重的）模型 2.决定每一层将要去哪里（当有多个设备可用时） 3.在内存中加载其权重的一部分 4.在空模型中加载这些权重 5.将权重移动到 阅读全文

摘要：前置环境：两台可以互通的centos服务器（服务器1、服务器2），docker，NVIDIA驱动 一、docker创建overlay共享网络 1）选用服务器1作为manage节点进行初始化，执行docker swarm init Swarm initialized: current node (ly 阅读全文

摘要：该代码结构如下图所示： 在initialize_megatron初始化megatron的过程中，有关于数据并行、流水线并行、张量并行的实现，简介及其实现如下： 模型分布式环境初始化： 以两台分别有8个GPU服务器为例，训练具有12层的transformer layers， 图一 图二 本示例将模型纵 阅读全文