Liang-ml

摘要： 总结对比 zero-shot是一种机器学习方法，指的是模型能够处理从未在训练数据中见过的任务或类别，即模型在面对新任务时不需要额外的训练和微调也能做出合理的决策。 以视觉场景为例，如CLIP（Contrastive Language-Image Pre-Training），它将图像和文本嵌入到同一个 阅读全文

摘要： ZWNBSP（Zero Width Non-Breaking Space）是一种零宽度的不可见字符，通常在文本中无意中加入，可能会导致代码解析问题。它不同于普通的空格字符，Python解释器在遇到它时可能无法正确解析代码。 ZWNBSP（零宽度不换行空格）字符的出现可能有以下几种原因： 文本格式问题 阅读全文

摘要： 具体流程为 1. 创建本地项目目录 mkdir my_project cd my_project 2. 初始化git仓库 git init 指令会在当前目录中创建一个 ” .git ”文件夹，用于存储版本控制信息3. 添加文件到仓库 echo "# My Project" >> README.md 阅读全文

摘要： AirLLM是一种针对LLM的轻量级推理框架，通常用于优化和加速大模型的推理过程，可以允许70B的LLM在单个4GB的GPU上运行，无需量化、蒸馏、剪枝。 AirLLM是通过分层推理实现的上述功能，本质上是将LLM的每一层拆分出来，分别加载权重进行推理，在推理较大的LLM时会很慢。 环境配置 使用p 阅读全文

摘要： LLaMA-Factory是一个整合了主流的各种高效训练微调技术、适配主流开源模型、功能丰富、适配性好的训练框架。 安装LLaMA Factory conda create -n llamafactory python=3.8.0 conda activate llamafactory git cl 阅读全文

摘要： vLLM是一个快速且易于使用的LLM推理和服务库 vLLM的快速性体现在： 最先进的服务吞吐量 通过PagedAttention有效管理注意力机制KV的内存 连续的批次处理请求 使用CUDA/HIP图快速执行模型 量化：GPTQ、AWQ、INT4、INT8、FP8 CUDA内核优化，包括FlashA 阅读全文

摘要： MONAI Label 是一款智能开源图像标记和学习工具，使用户能够创建带注释的数据集并构建用于临床人员评估的AI注释模型。 MONAL Label 可以通过 MONAI Label Server作为服务端构建标签应用程序，服务端和客户端可在同一个计算机上运行。 定位：AI辅助标注插件 Step1  阅读全文

摘要： python中的 r 指的是raw，即raw string 原始字符串，会忽略字符串中的所有转义字符。 !r 是一种字符串格式化方式，可以将任意对象转换成它的 repr() 表达形式，并将其嵌入到字符串中。 s1 = 'this is a string' print(s1) >> this is a 阅读全文

摘要： 详见 https://github.com/ggerganov/llama.cpp LLM部署工具llama.cpp llama.cpp 旨在使用最少的硬件资源实现在本地或云端上的最优性能的LLM推理部署，其具有以下特点 纯C/C++实现，无任何依赖项 支持x86架构的AVX、AVX2和AVX512 阅读全文

摘要： 常用的数据类型有FP64、FP32、FP16、BFLOAT16等，以及LLM量化用到的INT4、NF4、INT8、FP8 指数位长度提供范围，尾数位长度决定精度 TF32剩余的13位填充或未使用 FP64 FP64表示64位浮点数，通常为IEEE 754定义的双精度二进制浮点格式，由1位符号位、11 阅读全文