petithenri

摘要： 非原创！侵删 From CSDN @ 史丹利复合田 关于交叉熵在loss函数中使用的理解 交叉熵（cross entropy）是深度学习中常用的一个概念，一般用来求目标与预测值之间的差距。 信息论 交叉熵是信息论中的一个概念，要想了解交叉熵的本质，需要先从最基本的概念讲起。 1 信息量 首先是信息量 阅读全文

摘要： Transformer原理 From知乎：@大师兄 详解Transformer （Attention Is All You Need） 本文为个人学习摘要，以上为原文。 RNN的局限性：1. 按照时间顺序，限制了模型的并行能力；2.对特别长期的依赖现象依然无能为力。 Transformer：1.使用 阅读全文