随笔分类 -  爬虫

大数据应用期末总评
摘要：作业要求：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3339 一、课程评分标准： 分数组成： 考勤 10 平时作业 30 爬虫大作业 25 Hadoop生态安装与配置 10 分布式文件系统HDFS 分布式并行计算MapReduce 阅读全文
posted @ 2019-06-20 17:36 林俊翰 阅读(162) 评论(0) 推荐(0)
爬虫综合大作业
摘要：作业来源：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3159 作业来源：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3159 可以用pandas读出之前保存的数据 阅读全文
posted @ 2019-05-09 13:07 林俊翰 阅读(224) 评论(0) 推荐(0)
爬取全部的校园新闻
摘要：本次作业的要求来自于：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3002 0.从新闻url获取点击次数，并整理成函数 newsUrl newsId(re.search()) clickUrl(str.format()) reque 阅读全文
posted @ 2019-04-14 21:57 林俊翰 阅读(110) 评论(0) 推荐(0)
理解爬虫原理
摘要：作业来源：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2881 1. 简单说明爬虫原理 2. 理解爬虫开发过程 1).简要说明浏览器工作原理； 1）用户界面-地址栏，前进、后退，书签菜单。 2）浏览器引擎-在用户接和呈现引擎之间传送 阅读全文
posted @ 2019-03-30 13:50 林俊翰 阅读(200) 评论(0) 推荐(0)
复合数据类型，英文词频统计
摘要：作业来源：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2753 1.列表，元组，字典，集合分别如何增删改查及遍历。 列表的增删改及遍历 元组 ，操作和列表类似，但是元组不能修改 字典的增删改及遍历 集合增删改查及遍历 2.总结列表， 阅读全文
posted @ 2019-03-15 17:51 林俊翰 阅读(148) 评论(0) 推荐(0)
字符串操作、文件操作，英文词频统计预处理
摘要：作业来源：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2684 1.字符串操作： 解析身份证号：生日、性别、出生地等。 凯撒密码编码与解码 # 凯撒密码编码 code=input("请您输入文字：") print("转化成凯撒密码为 阅读全文
posted @ 2019-03-08 17:49 林俊翰 阅读(260) 评论(0) 推荐(0)
了解大数据的特点、来源与数据呈现方式
摘要：作业来源：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2639 1.浏览2019春节各种大数据分析报告，例如： 这世间，再无第二个国家有能力承载如此庞大的人流量。http://www.sohu.com/a/290025769_313 阅读全文
posted @ 2019-03-04 17:26 林俊翰 阅读(214) 评论(0) 推荐(0)