LLM、transformer、HuggingFace

LLM 大语言模型一览  prompt 技巧 汇总   模型框架 LLM 架构、Attention矩阵，分析 LLM 采用 decode-only batch norm、layer norm、RMSNorm、DeepNorm GLM and ChatGLM 架构解析 与 微调逻辑  大模型结构优化-MQA/GQA    量化与低成本部署 大模型量化及低成本部署  llama.cpp量化部署 与 chatglm.cpp、qwen.cpp 大模型私有化部署 框架    微调 大模型微调-综述 大模型微调 - LoRA 系列 与 PEFT 大模型微调 - Prompt系列：Prefix Tuning、Prompt Tuning、P-Tuning v1、P-Tuning v2 原理 大模型微调 - PEFT 实战 llama2 量化并微调 实战   行业大模型 微调全流程【1】- 基本流程  行业大模型 微调全流程【2】- 基础流程 及 源码剖析 行业大模型 训练 典型案例 及 分析 - MedicalGPT  行业大模型 微调 经验总结     垂直领域 LLM微调 全流程  LLM微调 SFT指令数据生成  LLM微调 案例   大模型训练 基本流程 ChatGLM 微调 细节1-构建数据集 LoRA 实战 - 利用 lora 微调 CNN Prompt Learning 完成下游任务：基于bert的情感分类    大模型微调 - 工具型框架   大模型训练所需算力估计 大模型 相关知识（未整理） RAG RAG-基础知识与技术 RAG-reranker 和 提高召回利用率 RAG Flow  RAG 优化1 RAG 优化3 Advanced RAG 智能客服  大模型下的文本解析 RAG - 多模态问答、unstructured 文本解析（包括表格和图片OCR） 多模态 文档处理工具收集 （都是未验证的） RAG - 材料很漂亮 Embedding Embedding 模型一览 选择 及使用 embedding - bi encode AND cross encode embedding 之 sentence_transformers 原理及用法  embedding 生成数据集，训练指标，基于 llama_index 微调 优质的 embedding 资源 BGE-智源 embedding 模型 Embedding工作原理 - 材料漂亮 Agent Function Calling 原理与实战 Agent  multi agent DataBase neo4j 基础语法 向量数据库 及 LangChain 用法 其他 前端神器 - gradio 日常使用注意点 OCR OCR工具 - tesseract  开源 OCR - 未测试

Attention and transformer 注意力机制【1】-入门篇 注意力机制【2】- CV中的注意力机制 注意力机制【3】-Self Attention 注意力机制【4】-多头注意力机制 注意力机制【5】Scaled Dot-Product Attention 和 mask attention 注意力机制【6】多种 attention 分析汇总  多头注意力机制中head_mask的作用 注意力机制 深度剖析 - 位置、适用任务 分析，不合适的注意力反而效果变差   transformer 和 Sinusoidal Positional Encoding    Bert -基本原理  Bert - 应用指南  GPT gpt2 code transformer 架构优化 past_key_value 的作用   位置编码 视觉位置编码 旋转位置编码 RoPE 和 长度外推 batch normalization和layer normalization区别   从零开始基于transformers库搭建Llama  系列模型 意图识别  相关知识 对比学习 及 SimCLR 多模态基石CLIP原理与代码解读   HuggingFaceTools datasets   ### transformers transformers库-Models transformers库-tokenizer分词器 tokenizer - subword算法 BPE、WordPiece、ULM tokenizer 中 attention_mask 在处理多个序列时的作用  transformers库-BERT中的Tokenizer   ### TRL TRL ：一款利用强化学习训练Transformer模型的框架

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

参考资料：