一介珷玞

摘要： 什么是attention？ 从概念上理解，Attention可以理解为从大量信息中有选择地筛选出少量重要信息并聚焦到这些重要信息上，忽略大多不重要的信息。 为什么要引入attention？ 1、计算能力的限制：要记住更多的信息，模型就会变得更复杂； 2、从众多信息中选择出对当前任务目标更关键的信息， 阅读全文

摘要： IID独立同分布假设 机器学习领域很重要的一个假设，就是假设训练数据和测试数据具有相同的分布，这是通过训练数据获得的模型能够在测试集获得好的效果的一个基本保障。 Covariate Shift 指的是训练集的数据分布和预测集的数据分布不一致。 这样的情况下如果我们在训练集上训练出一个分类器，肯定在预 阅读全文