04 2023 档案

摘要：常见神经网络模型所用的 Tensor 数据类型 一般是 float32 类型， 而工业界出于对特定场景的需求（极少的计算资源，极致的推理速度），需要把模型的权重和或激活值转换为位数更少的数值类型（比 int8, float16） —— 整个过程被称为量化（Quantization）。 阅读全文

摘要：MegEngine 的 optimizer 模块中实现了大量的优化算法， 其中 Optimizer 是所有优化器的抽象基类，规定了必须提供的接口。 同时为用户提供了包括 SGD, Adam 在内的常见优化器实现。 阅读全文