摘要： 本次作业的要求来自：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3339 Hadoop综合大作业 要求： 1.将爬虫大作业产生的csv文件上传到HDFS 2.对CSV文件进行预处理生成无标题文本文件 3.把hdfs中的文本文件最终导 阅读全文

摘要： 该作业要求来源于：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3319 一、用自己的话阐明Hadoop平台上HDFS和MapReduce的功能、工作原理和工作过程。 Hdfs的功能：高度容错性、支持大规模数据集、支持流式读取数据、简 阅读全文

摘要： 一.爬虫对象 猫眼电影TOP100排行榜 二.代码如下 三.运行结果 四.数据分析 （1）电影评分比例 一部电影质量由评分能直接体现出来，而总体评分分布能体现出播放器的质量。 由上图看出8.8-9.1分数的电影比较多，所以猫眼电影的质量还是可以的。 （2）电影的成功除了质量之外，发布的时间也是很重要 阅读全文

摘要： 作业的要求来自于：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3075 一.爬虫对象 猫眼电影TOP100排行榜 二.代码如下 三.运行结果 四.数据分析 （1）电影评分比例 一部电影质量由评分能直接体现出来，而总体评分分布能体现出 阅读全文

摘要： 这个作业的要求来自于：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2941。 1.从新闻url获取新闻详情： 字典,anews 2.从列表页的url获取新闻url：列表append(字典) alist 3.生成所页列表页的url并获 阅读全文

摘要： 标题、作者、发布单位、审核、来源 发布时间:转换成datetime类型 点击： newsUrl newsId(使用正则表达式re) clickUrl(str.format(newsId)) requests.get(clickUrl) newClick(用字符串处理，或正则表达式) int() 主要 阅读全文

摘要：  提交作业 作业要求来源于：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2851 1. 简单说明爬虫原理 网络爬虫是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。 2. 理解爬虫开发过程 1).简要 阅读全文

摘要： 作业要求来自： https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2773 中文词频统计 1. 下载一长篇中文小说。 《倚天屠龙记》 2. 从文件读取待分析文本。 3. 安装并使用jieba进行中文分词。 pip install jieb 阅读全文

摘要： 该作业要求来源于：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2696 一.列表，元组，字典，集合分别如何增删改查及遍历。 1.列表： 2.元组： 3.字典： d={'a':10,'b':20,'c':30} 4.集合： 二.总结列 阅读全文

摘要： 作业要求来源于：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2646 1.字符串操作： 解析身份证号：生日、性别、出生地等。 凯撒密码编码与解码 网址观察与批量生成 2.英文词频统计预处理 下载一首英文的歌词或文章或小说，保存为ut 阅读全文