摘要: 作业① 要求: - 熟练掌握 Selenium 查找HTML元素、爬取Ajax网页数据、等待HTML元素等内容。 - 使用Selenium框架爬取京东商城某类商品信息及图片。 候选网站:http://www.jd.com/ 关键词:学生自由选择 输出信息: mNo mMark mPrice mNot 阅读全文
posted @ 2021-11-25 16:24 Sevennnn 阅读(61) 评论(0) 推荐(0) 编辑
摘要: 作业① 要求:熟练掌握 scrapy 中Item、Pipeline 数据的序列化输出方法,使用Scrapy+Xpath+MySQL数据库存储技术路线爬取当当网站图书数据 候选网站:http://www.dangdang.com/ 关键词:学生自由选择 输出信息: id title author pu 阅读全文
posted @ 2021-11-10 12:55 Sevennnn 阅读(43) 评论(0) 推荐(0) 编辑
摘要: 一、作业① 要求:指定一个网站,爬取这个网站中的所有的所有图片,例如中国气象网。分别使用单线程和多线程的方式爬取。(限定爬取图片数量为学号后3位) 输出信息:将下载的Url信息在控制台输出,并将下载的图片存储在images子文件中,并给出截图。 (一)单线程爬取 Gitee链接:作业3_1_1 1. 阅读全文
posted @ 2021-11-01 23:08 Sevennnn 阅读(31) 评论(0) 推荐(0) 编辑
摘要: 一、作业① 要求:在中国气象网给定城市集的7日天气预报,并保存在数据库。 输出信息:Gitee链接:2_1 序号 地区 日期 天气信息 温度 1 北京 7日(今天) 晴间多云,北部山区有阵雨或雷阵雨转晴转多云 31℃/17℃ 2 北京 8日(明天) 多云转晴,北部地区有分散阵雨或雷阵雨转晴 34℃/ 阅读全文
posted @ 2021-10-13 22:48 Sevennnn 阅读(79) 评论(0) 推荐(0) 编辑
摘要: ##一、作业① **要求:**用urllib和re库方法定向爬取给定网址中国最好学科排名(计算机科学与技术)的数据。 输出形式: 2020排名 全部层次 学校类型 总分 1 前2% 中国人民大学 1069.0 2 .... ........... ...... ###1.获取网页源码:getHTML 阅读全文
posted @ 2021-09-29 15:56 Sevennnn 阅读(163) 评论(0) 推荐(1) 编辑