乌漆 WhiteMoon

摘要： 本文提出了一种用于表格数据深度学习的架构 TabNet，该模型的核心创新在于模仿决策树的特征选择能力，通过一种序列注意力机制（sequential attention）来实现实例级的软特征选择。在每一步决策中，TabNet 都会动态地、稀疏地选择最相关的特征子集进行推理，从而将模型的学习能力集中在最显著的特征上。这不仅提高了学习效率，减少了冗余参数，还自然地为模型提供了内在的可解释性。其编码器由多个决策步骤组成，每个步骤包含一个用于特征选择的注意力变换器（Attentive Transformer）和一个用于特征处理的特征变换器（Feature Transformer）。此外，TabNet 首次为表格数据引入了掩码自监督学习框架，通过预测被掩码的特征来进行预训练，从而能够有效利用大量未标注数据来提升模型在下游任务中的性能。通过广泛的实验验证，证明了TabNet 在多个不同领域的分类和回归数据集上达到或超越了当前主流表格学习模型的性能，同时提供了局部和全局两个层面的可解释性。 阅读全文