epicmo

摘要： 概述 提出了一个专家混合网络。通过门控系统来确定不同专家系统的加权组合，以在不同的场景中激活不同的专家模块。 动机 神经网络吸收信息的能力受到参数量的限制，在理论上，有人提出了条件计算的方法，即网络的某些部分在每个实例都基础上处于活跃的状态。因此可以通过门控网络来显著地增加模型的容量。 方法 以上为 阅读全文