摘要：
作业一 要求： 熟练掌握 Selenium 查找HTML元素、爬取Ajax网页数据、等待HTML元素等内容。 使用Selenium框架爬取京东商城某类商品信息及图片。 候选网站：http://www.jd.com/ 关键词：学生自由选择 输出信息： MySQL数据库存储和输出格式如下： 实验过程 创 阅读全文
posted @ 2021-11-24 21:48
bInbinL
阅读(71)
评论(0)
推荐(0)
摘要：
作业一 要求： 熟练掌握 scrapy 中 Item、Pipeline 数据的序列化输出方法； Scrapy+Xpath+MySQL数据库存储技术路线爬取当当网站图书数据 候选网站：http://www.dangdang.com/ 关键词：学生自由选择 输出信息： MySQL数据库存储和输出格式如下 阅读全文
posted @ 2021-11-10 20:06
bInbinL
阅读(99)
评论(0)
推荐(0)
摘要：
作业一 **要求：**指定一个网站，爬取这个网站中的所有的所有图片，例如中国气象（http://www.weather.com.cn）。 分别使用单线程和多线程的方式爬取。(限定爬取图片数量为学号后4位) 输出信息： 将下载的Url信息在控制台输出，并将下载的图片存储在images子文件中，并给出截 阅读全文
posted @ 2021-10-28 15:12
bInbinL
阅读(83)
评论(0)
推荐(0)
摘要：
作业1 要求： 在中国气象网（http://www.weather.com.cn）给定城市集的7日天气预报，并保存在数据库。 ##实验过程 ###获取html def getHTMLText(url): try: headers = { 'User-Agent': 'Mozilla/5.0 (Win 阅读全文
posted @ 2021-10-13 20:32
bInbinL
阅读(47)
评论(0)
推荐(0)
摘要：
作业1 **要求：**用urllib和re库方法定向爬取给定网址（https://www.shanghairanking.cn/rankings/bcsr/2020/0812 ）的数据。 输出信息： 2020排名 2019排名 全部层次 学校类型 总分 1 2 前2% 中国人民大学 1069.0 2 阅读全文
posted @ 2021-09-30 19:27
bInbinL
阅读(144)
评论(0)
推荐(0)
浙公网安备 33010602011771号