03 2021 档案

摘要:简介:以keras书中案例,讲述构建电影评论情感分类模型。 1.定义问题,收集数据 使用消极、积极两类电影评论集,构建对情感分类模型,并后续用于预测。由于只有两类,因此是一个二分类模型。 原始数据采用keras库中的imdb数据集,它包含来自互联网电影数据库(IMDB)的50 000 条严重两极分化 阅读全文
posted @ 2021-03-28 13:50 forxtz 阅读(1069) 评论(0) 推荐(0)
摘要:简介:处在一个网络隔离,又常需要进行调查分析的环境。常规性需要通过excel进行数据采集,校验,汇总,分析等工作。鉴于此,设计一个基于excel的统计系统。需求通过自身工作的场景进行获取,因此不一定契合用户喜好,所以干脆做出笔记,以便揣摩。 简单描述一个调查的过程: 1、确定调查事项及对象; 2、设 阅读全文
posted @ 2021-03-21 12:23 forxtz 阅读(420) 评论(0) 推荐(0)
摘要:简介:遇到一个反爬虫机制,该网页为gbk编码网页,但是请求参数中,部分请求使用gbk编码,部分请求使用utf8编码,还设置了一些不进行编码的安全字符,在爬取的过程中形成了阻碍。 提示:在认为参数设置正常,又无法正确爬取数据的情况下,通过response.requests.headers和espons 阅读全文
posted @ 2021-03-17 11:00 forxtz 阅读(547) 评论(0) 推荐(0)
摘要:简介:不同的服务器采用的网页编码可能不一样,如果使用错误的编码发送数据,将不会得到正确的数据。 目的:识别访问网页的编码,发送正确的编码数据和解码。 参考链接: Python+request:根据四种不同的提交数据方式进行post请求 Python 爬虫 (requests) 发送中文编码的 HTT 阅读全文
posted @ 2021-03-17 10:23 forxtz 阅读(1540) 评论(0) 推荐(0)
摘要:简介:文本挖掘中,情感分析是经常需要使用到,而进行主题模型分析之前,对数据集进行文本分类再进行分析具有必要性,因为分类以后,每一类的主题才会更明显。而snownlp是一个python写的类库,可以方便的处理中文文本内容,主要看上了他的情感分类功能(二分类),分类是基于朴素贝叶斯的文本分类方法,当然也 阅读全文
posted @ 2021-03-10 23:13 forxtz 阅读(2674) 评论(0) 推荐(0)
摘要:简介:前文python jieba+wordcloud使用笔记+词云分析应用讲到可以自定义Idf文档,所以来处理处理。算法已经有现成,本文讲解基本原理及其使用。 参考链接: sklearn-TfidfVectorizer 计算过程详解 百度百科-tf-idf CountVectorize和TfidV 阅读全文
posted @ 2021-03-10 00:15 forxtz 阅读(1048) 评论(1) 推荐(0)
摘要:系列介绍:文本挖掘比较常见,系列思路:1-基本情况介绍(分词,词云展示);2-根据语料库的tf-idf值及创建自己的idf文件;3-基于snownlp语料情感分析;4-基于gensim进行lda主题挖掘分析; 本文简介:对于大量的短文本需要进行分析的话,会使用到分词及可视化展示,中文分词没有明显的边 阅读全文
posted @ 2021-03-08 23:14 forxtz 阅读(2672) 评论(0) 推荐(0)
摘要:简介:长短期记忆人工神经网络(Long-Short Term Memory, LSTM)是一种时间递归神经网络(RNN),论文首次发表于1997年。由于独特的设计结构,LSTM适合于处理和预测时间序列中间隔和延迟非常长的重要事件。 目的:学会使用tf.keras构建lstm神经网络进行一个基本的时间 阅读全文
posted @ 2021-03-06 17:15 forxtz 阅读(3106) 评论(1) 推荐(0)