随笔分类 -  NLP学习

摘要:NLP——新闻文本分类:TASK3 深度学习Fasttext Fasttext是一种深度学习词向量的表示方法,它是一种三层神经网络,包含输入层,隐含层和输出层。 模型架构:fastText 模型输入一个词的序列(一段文本或者一句话),输出这个词序列属于不同类别的概率。序列中的词和词组组成特征向量,特 阅读全文
posted @ 2020-07-27 21:46 叮叮咚s 阅读(672) 评论(0) 推荐(0)
摘要:NLP——新闻文本处理:TASK3 TF-IDF+机器学习分类器 在Task1中已经对最终得分表示F1-score有了部分介绍,这里给出TF-IDF的介绍以及机器学习分类器相关代码: 1.TF-IDF 一个词语在一篇文章中出现次数越多, 同时在所有文档中出现次数越少, 越能够代表该文章.这就是TF- 阅读全文
posted @ 2020-07-25 22:40 叮叮咚s 阅读(556) 评论(0) 推荐(0)
摘要:NLP——新闻文本处理:TASK2 数据处理与数据分析 1.数据读取 import os import pandas as pd import matplotlib.pyplot as plt os.environ["CUDA_VISIBLE_DEVICES"] = "0" #设置显示范围 #pd. 阅读全文
posted @ 2020-07-22 23:07 叮叮咚s 阅读(341) 评论(0) 推荐(0)
摘要:NLP——新闻文本处理:TASK1 赛题理解与nlp初识 1.数据读取 在竞赛主页下载好数据集利用pandas打开: #coding=utf-8 import pandas as pd #my_font = font_manager.FontProperties(fname="C:\Windows\ 阅读全文
posted @ 2020-07-21 19:58 叮叮咚s 阅读(559) 评论(0) 推荐(0)