gongzb

摘要： 均匀量化是一种将连续范围的数值（比如浮点数）转换为有限个离散值的过程，类似于用有限的 “箱子” 去装无限的数值。想象你有一堆不同身高的人（连续值），但你只能用几个固定的身高区间（比如 “150-160cm”、“160-170cm” 等）去分类他们，这就是量化的基本思想。 关键概念类比 缩放因子（Sc 阅读全文

摘要： 转自：https://zhuanlan.zhihu.com/p/990958034 Fine-tuning （微调），是指在新数据集上调整预训练模型的权重，从而提高模型在特定领域，或特定任务上的性能。下图演示了这一过程： LoRA 是近年来对大模型最重要的贡献之一，它通过只修改模型一小部分的参数，重 阅读全文