扫地升 - 博客园

2023年10月7日

Langchain-Chatchat项目：1.2-Baichuan2项目整体介绍

摘要：由百川智能推出的新一代开源大语言模型，采用2.6万亿Tokens的高质量语料训练，在多个权威的中文、英文和多语言的通用、领域benchmark上取得同尺寸最佳的效果，发布包含有7B、13B的Base和经过PPO训练的Chat版本，并提供了Chat版本的4bits量化。一.Baichuan2模型 B 阅读全文

posted @ 2023-10-07 23:28 扫地升阅读(1098) 评论(0) 推荐(0)

Langchain-Chatchat项目：1.1-ChatGLM2项目整体介绍

摘要： ChatGLM2-6B是开源中英双语对话模型ChatGLM-6B的第2代版本，引入新的特性包括更长的上下文(基于FlashAttention技术，将基座模型的上下文长度由ChatGLM-6B的2K扩展到了32K，并在对话阶段使用8K的上下文长度训练)；更高效的推理(基于Multi-QueryAtte 阅读全文

posted @ 2023-10-07 23:28 扫地升阅读(530) 评论(0) 推荐(0)

Langchain-Chatchat项目：1-整体介绍

摘要：基于Langchain与ChatGLM等语言模型的本地知识库问答应用实现。项目中默认LLM模型改为THUDM/chatglm2-6b[2]，默认Embedding模型改为moka-ai/m3e-base[3]。一.项目介绍 1.实现原理本项目实现原理如下图所示，过程包括加载文件->读取文本->文阅读全文

posted @ 2023-10-07 23:27 扫地升阅读(2487) 评论(0) 推荐(0)

2023年10月5日

Boost程序库完全开发指南：1.2-C++基础知识点梳理

摘要：主要整理了N多年前（2010年）学习C++的时候开始总结的知识点，好长时间不写C++代码了，现在LLM量化和推理需要重新学习C++编程，看来出来混迟早要还的。 1.const_cast <new_type> (expression)[1] 解析：const_cast转换符用来移除变量的const或v 阅读全文

posted @ 2023-10-05 01:29 扫地升阅读(245) 评论(0) 推荐(0)

Boost程序库完全开发指南：1.1-C++基础知识点梳理

摘要：主要整理了N多年前（2010年）学习C++的时候开始总结的知识点，好长时间不写C++代码了，现在LLM量化和推理需要重新学习C++编程，看来出来混迟早要还的。 1.shared_ptr 解析：shared_ptr是一种计数指针，当引用计数变为0时，shared_ptr所指向的对象将会被删除。如下所示阅读全文

posted @ 2023-10-05 01:29 扫地升阅读(124) 评论(0) 推荐(0)

Boost程序库完全开发指南：1-开发环境和构建工具

摘要： Boost官方于2019年12月发布的1.72版编写，共包含160余个库/组件，涵盖字符串与文本处理、容器、迭代器、算法、图像处理、模板元编程、并发编程等多个领域，使用Boost，将大大增强C++的功能和表现力。环境：Windows 10，WSL2，Ubuntu 20.04 LTS，Rider（WS 阅读全文

posted @ 2023-10-05 01:28 扫地升阅读(346) 评论(0) 推荐(0)

CUDA C编程权威指南：1.3-CUDA基础知识点梳理

摘要：主要整理了N多年前（2013年）学习CUDA的时候开始总结的知识点，好长时间不写CUDA代码了，现在LLM推理需要重新学习CUDA编程，看来出来混迟早要还的。 1.CUDA数组解析：CUDA数组是使用cudaMallocArray()、cudaMalloc3DArray()分配的，使用cudaFr 阅读全文

posted @ 2023-10-05 01:28 扫地升阅读(487) 评论(0) 推荐(0)

CUDA C编程权威指南：1.2-CUDA基础知识点梳理

摘要：主要整理了N多年前（2013年）学习CUDA的时候开始总结的知识点，好长时间不写CUDA代码了，现在LLM推理需要重新学习CUDA编程，看来出来混迟早要还的。 1.闭扫描和开扫描对于一个二元运算符和一个元输入数组。如果返回输出数组为，那么是闭扫描；如果返回输出数组为，那么是开扫描。串行闭扫描算法，阅读全文

posted @ 2023-10-05 01:27 扫地升阅读(270) 评论(0) 推荐(0)

CUDA C编程权威指南：1.1-CUDA基础知识点梳理

摘要：主要整理了N多年前（2013年）学习CUDA的时候开始总结的知识点，好长时间不写CUDA代码了，现在LLM推理需要重新学习CUDA编程，看来出来混迟早要还的。 1.CUDA 解析：2007年，NVIDIA推出CUDA（Compute Unified Device Architecture，统一计算设阅读全文

posted @ 2023-10-05 01:27 扫地升阅读(735) 评论(0) 推荐(0)

CUDA C编程权威指南：1-基于CUDA的异构并行计算

摘要：什么是CUDA？CUDA（Compute Unified Device Architecture,统一计算设备架构）是NVIDIA（英伟达）提出的并行计算架构，结合了CPU和GPU的优点，主要用来处理密集型及并行计算。什么是异构计算？这里的异构主要指的是主机端的CPU和设备端的GPU，CPU更擅长逻阅读全文

posted @ 2023-10-05 01:26 扫地升阅读(331) 评论(0) 推荐(0)