摘要： 本文通过五个方面系统介绍了大模型量化技术：首先阐述量化的基本概念，以低比特（INT8/4/2/1）取代 FP32 的压缩与加速原理；其次按时间维度区分 PTQ、QAT 与 QAF 三种策略，明确何时量化；随后按对象维度梳理权重、激活、梯度、KV-Cache 及偏置的量化差异；再从粒度维度比较 per-tensor、per-channel、per-group、per-token 的精度与开销权衡；最后结合位宽与对象给出 W8A16、W4A8、KV4 等典型组合，完整呈现量化在模型大小、推理速度与部署场景中的综合优化路径。 阅读全文

摘要： 一、SSH客户端配置 如果你需要通过SSH远程访问服务器，需要生成密钥对，然后将公钥配置到服务器，具体如下： Step1：检查是否安装了 OpenSSH Client（客户端） 以管理员身份运行powershell（Win+X → 终端管理员） ## 检查SSH客户端是否安装 Get-Windows 阅读全文

摘要： regular expression This article is intended to introduce the RE package in Python. The main funciton of RE module is sub：Replace matched items. match： 阅读全文