随笔分类 - NLP学习
摘要:NLP——新闻文本分类:TASK3 深度学习Fasttext Fasttext是一种深度学习词向量的表示方法,它是一种三层神经网络,包含输入层,隐含层和输出层。 模型架构:fastText 模型输入一个词的序列(一段文本或者一句话),输出这个词序列属于不同类别的概率。序列中的词和词组组成特征向量,特
阅读全文
摘要:NLP——新闻文本处理:TASK3 TF-IDF+机器学习分类器 在Task1中已经对最终得分表示F1-score有了部分介绍,这里给出TF-IDF的介绍以及机器学习分类器相关代码: 1.TF-IDF 一个词语在一篇文章中出现次数越多, 同时在所有文档中出现次数越少, 越能够代表该文章.这就是TF-
阅读全文
摘要:NLP——新闻文本处理:TASK2 数据处理与数据分析 1.数据读取 import os import pandas as pd import matplotlib.pyplot as plt os.environ["CUDA_VISIBLE_DEVICES"] = "0" #设置显示范围 #pd.
阅读全文
摘要:NLP——新闻文本处理:TASK1 赛题理解与nlp初识 1.数据读取 在竞赛主页下载好数据集利用pandas打开: #coding=utf-8 import pandas as pd #my_font = font_manager.FontProperties(fname="C:\Windows\
阅读全文

浙公网安备 33010602011771号