牛犁heart

摘要： Transformer整体架构图 从上图可发现，该Transformer主要由Encoder和Decoder组成，Encoder和Decoder各6层，代码实现如下： def make_model( src_vocab, tgt_vocab, N=6, d_model=512, d_ff=2048, 阅读全文

摘要： 首先，Transformer 论文：Attention Is All You Need 必不可少 其次，Transformer 图解：https://jalammar.github.io/illustrated-transformer/ 也是必不可少 Transformer整体结构 上图就是Tran 阅读全文

摘要： 首先，为什么需要Word2Vec？ 因为人类世界的字符、语言计算机理解不了，需要将词语、语音等形式转化成数值形式，计算机才能理解，Word2Vec顾名思义，就是将词语转换成向量 接下来就来揭开 word2vec 的神秘面纱吧~ Word2Vec Word2Vec 是一种广泛使用的NLP技术，目的是将 阅读全文

摘要： 下载HuggingFace 模型 首先打开网址：https://huggingface.co/models 这个网址是huggingface/transformers支持的所有模型，目前大约一千多个。搜索gpt2（其他的模型类似，比如bert-base-uncased等），并点击进去。 进入之后，可 阅读全文

摘要： GPT-1 简介 2018年6月，OpenAI公司发表了论文"Improving Language Understanding by Generative Pretraining"(用生成式预训练提高模型的语言理解能力)， 推出了具有 1.17亿个参数的GPT-1(Generative Pre-tr 阅读全文

摘要： LLM本身基于Transformer架构 自2017年，Attention is all you need诞生起，原始的Transformer模型不同领域的模型提供了灵感和启发 基于原始的Transformer框架，衍生了一系列模型，一些模型仅仅使用encode或decoder，有些模型同时使用en 阅读全文

摘要： 论文：Attention is All You Need：Attention Is All You Need1. Transformer 整体结构首先介绍 Transformer 的整体结构，下图是 Transformer 用于中英文翻译的整体结构：可以看到transformer由Encoder和D 阅读全文

摘要： ZeRO：一种去除冗余的数据并行方案 目前训练超大规模语言模型主要有两条技术路线： TPU + XLA + TensorFlow/JAX GPU + Pytorch + Megatron + DeepSpeed 前者由Google主导，由于TPU和自家云平台GCP深度绑定，对于非Googler来说并 阅读全文

摘要： 打印栈回溯 #include "execinfo.h" #include "stdio.h" #include "stdlib.h" void print_stacktrace() { int size=128; void* array[128]; int stack_num = backtrace 阅读全文

摘要： 定义 算子融合 就是将多个计算单元合并到一个计算单元里完成计算，减少中间数据读写内存的操作，从而节省计算时间。 TVM中将算子融合分为四种： kElemWise：两个tensor之间按照元素逐个操作的算子，实际上所有的四则运算都是这种类型 kBroadcast：带有广播操作的算子 kInjectiv 阅读全文