全部文章

文章分类 -  AI-5-6自然语言处理

transfromer终极理解
摘要：先见森林 在学习transfromer之前，一定要先搞懂transfromer的整体架构，不然会迷失在他的各种“子层”结构中。。。 论文采用 ​​LayerNorm(x + Sublayer(x))​​ 的顺序，而不是其他变体，如； 原始Transformer论文（2017）确实使用了Post-LN 阅读全文
posted @ 2025-09-01 22:50 指尖下的世界 阅读(10) 评论(0) 推荐(0)
12.transfromer案例-构建语言模型
摘要：语言模型是 NLP 的基础组件，其核心任务是预测序列中下一个词的概率。例如，给定 “我爱吃”，模型需要输出 “火锅”“米饭” 等可能词汇的概率分布。Transformer 因其强大的长距离依赖捕捉能力，已成为构建高性能语言模型的首选架构（如 GPT 系列）。 本章将通过完整案例，使用 Transfo 阅读全文
posted @ 2025-07-20 23:15 指尖下的世界 阅读(26) 评论(0) 推荐(0)
11.transformer
摘要：第一章：Transformer 背景介绍 1.1 Transformer 的诞生 Transformer 的核心思想最早诞生于 2017 年 Google 团队的论文《Attention Is All You Need》，这篇论文彻底改变了自然语言处理（NLP）领域的技术路线。 2018 年 10 阅读全文
posted @ 2025-07-17 15:42 指尖下的世界 阅读(29) 评论(0) 推荐(0)
10.RNN 经典案例：基于 seq2seq 模型的英译法任务实现
摘要：学习目标 深入理解 seq2seq 模型架构和翻译数据集的特点 掌握使用基于 GRU 的 seq2seq 模型实现翻译的完整流程 理解并实现解码器端的 Attention 机制 学会模型的训练、评估及 Attention 效果可视化分析 一、seq2seq 模型架构详解 1.1 模型整体结构 seq 阅读全文
posted @ 2025-07-17 09:25 指尖下的世界 阅读(43) 评论(0) 推荐(0)
09.RNN经典案例-人名分类器
摘要：任务识别：​ 本案例的任务是根据输入的人名，预测其可能来自的国家，涉及 18 个国家。这是一个典型的分类问题，在实际应用中，例如在国际化公司的用户注册流程中，可根据用户填写的名字自动分配国家、地区信息，限制手机号码位数等，以提高效率和用户友好度。 原数据下载地址：https://download.p 阅读全文
posted @ 2025-07-16 15:42 指尖下的世界 阅读(17) 评论(0) 推荐(0)
06.HMM和CRF
摘要：1. 先理解序列标注问题​​ 在自然语言处理（NLP）中，​​序列标注​​是指为输入序列中的每个单元（如单词、字符）分配一个标签。例如： ​​输入序列（观测序列）​​：["人生", "该", "如何", "起头"] ​​输出序列（隐含序列）​​：["名词", "代词", "代词", "动词"]这就是 阅读全文
posted @ 2025-07-14 21:41 指尖下的世界 阅读(18) 评论(0) 推荐(0)
05.新闻主题分类完整案例（基于AG_NEWS数据集）-（新教程）
摘要：本案例将带你从零开始实现一个新闻主题分类器，使用PyTorch和Torchtext处理AG_NEWS数据集。我会详细解释每个步骤，确保初学者能够理解。 1. 案例概述 学习目标 了解新闻主题分类任务 掌握文本数据处理流程 学会构建简单的文本分类神经网络 完成模型训练与评估 任务说明 我们将使用AG_ 阅读全文
posted @ 2025-07-14 16:43 指尖下的世界 阅读(145) 评论(0) 推荐(0)
02.文本张量表示方法2
摘要：一、什么是文本张量表示​ 1.1 直观理解 想象你要教计算机读懂这句话：​​"我爱自然语言处理"​​ 计算机只认识数字，所以我们需要： 把每个​​词​​变成​​数字向量​​（词向量） 把整句话变成​​数字矩阵​​（文本张量） 1.2 举个栗子 🌰 文本 = ["我", "爱", "自然语言处理"] 阅读全文
posted @ 2025-07-14 12:03 指尖下的世界 阅读(11) 评论(0) 推荐(0)
08.注意力机制
摘要：1. 基本概念 人类观察事物时能快速聚焦关键特征的能力，这种选择性关注机制被抽象为注意力机制。 想象你在看一张照片时，会不自觉地把注意力集中在关键部分（比如人脸），而忽略背景。​​注意力机制​​就是让AI模型学会这种"选择性关注"的能力。 ​​核心思想​​： 传统神经网络对所有输入一视同仁（比如句子 阅读全文
posted @ 2025-07-11 17:52 指尖下的世界 阅读(118) 评论(0) 推荐(1)
07.RNN模型简介（传统RNN、LSTM、GRU）
摘要：该博客确实缺少近5年（2020-2025）关键进展（如Transformer的对比、现代RNN变种如SRU），但作为基础原理讲解仍然合格。 当前（2025年）工业界的技术采用情况： 纯RNN使用率：<15% LSTM/GRU使用率：约30%（主要在嵌入式设备） Transformer架构：约55%（ 阅读全文
posted @ 2025-07-11 17:34 指尖下的世界 阅读(46) 评论(0) 推荐(0)
04.文本特征处理&文本数据增强
摘要：文本特征处理 学习目标 了解文本特征处理的作用。 掌握实现常见的文本特征处理的具体方法。 文本特征处理的作用 文本特征处理包括为语料添加具有普适性的文本特征，如：n-gram 特征，以及对加入特征之后的文本语料进行必要的处理，如：长度规范。 特征处理工作能够有效的将重要的文本特征加入模型训练中，增强 阅读全文
posted @ 2025-07-10 20:47 指尖下的世界 阅读(6) 评论(0) 推荐(0)
03.文本数据分析
摘要：学习目标 了解文本数据分析的作用。 掌握常用的几种文本数据分析方法。 文本数据分析的作用 文本数据分析能够有效帮助我们理解数据语料，快速检查出语料可能存在的问题，并指导之后模型训练过程中一些超参数的选择。 常用的几种文本数据分析方法 标签数量分布 句子长度分布 词频统计与关键词词云 说明：我们将基于 阅读全文
posted @ 2025-07-10 18:33 指尖下的世界 阅读(8) 评论(0) 推荐(0)
01.文本预处理-分词、命名实体、词性
摘要：文本处理概述 文本预处理及其作用 文本语料在输送给模型前一般需要一系列的预处理工作，才能符合模型输入的要求，如：将文本转化成模型需要的张量，规范张量的尺寸等，而且科学的文本预处理环节还将有效指导模型超参数的选择，提升模型的评估指标。 文本预处理中包含的主要环节 文本处理的基本方法 文本张量表示方法 阅读全文
posted @ 2025-07-10 14:36 指尖下的世界 阅读(23) 评论(0) 推荐(0)
00自然语言处理入门课程概述
摘要：什么是自然语言处理: 自然语言处理(NaturalLanguage Processing,简称NLP)是计算机科学与语言学中关注于计算机与人类语言间转换的领域. 自然语言处理的发展简史 基于规则的意思就是：要让计算机基于人类的各类语言的语法来学习，例如主谓宾定状补，倒装句，疑问句... 但是语法的弊 阅读全文
posted @ 2025-07-10 09:46 指尖下的世界 阅读(6) 评论(0) 推荐(0)