权重衰减是什么意思?

权重衰减的核心原理就是在损失函数中加上一个权重的平方和惩罚项
假设你是一个司机，在城市里开车，你的目标是尽量平稳地驾驶，不要超速，也不要开得太慢。
如果你只加一个值，例如：每当你超速 1 公里时，你罚款 1 元。
如果你加上一个值的平方，比如：超速 1 公里罚款 1 元，超速 2 公里罚款 4 元，超速 3 公里罚款 9 元……以此类推。