晓飞的算法工程笔记

摘要： 深度学习模型通常堆叠大量结构和功能相同的结构，虽然有效，但会导致参数数量大幅增加，给实际应用带来了挑战。为了缓解这个问题，LORS（低秩残差结构）允许堆叠模块共享大部分参数，每个模块仅需要少量的唯一参数即可匹配甚至超过全量参数的性能。实验结果表明，LORS减少解码器 70% 的参数后仍可达到与原始模 阅读全文