摘要: 自己搭建一个 Tiny Decoder(带 Mask),参考 Transformer Encoder 的结构,并添加 Masked Multi-Head Self-Attention,它是 Decoder 的核心特征之一。 1. 背景与动机 Transformer 架构已成为自然语言处理(NLP)领 阅读全文
posted @ 2025-05-21 23:47 何双新 阅读(78) 评论(0) 推荐(0)
摘要: Tiny Encoder Transformer:极简文本分类与注意力可视化实战 项目简介 本项目实现了一个极简版的 Transformer Encoder 文本分类器,并通过 Streamlit 提供了交互式可视化界面。用户可以输入任意文本,实时查看模型的分类结果及注意力权重热力图,直观理解 Tr 阅读全文
posted @ 2025-05-21 23:19 何双新 阅读(303) 评论(0) 推荐(0)