摘要: #作业①: (1)实验要求: 用requests和BeautifulSoup库方法爬取豆瓣电影Top250数据。 每部电影的图片,采用多线程的方法爬取,图片名字为电影名 了解正则的使用方法 (2)实验代码: import requests # 调用bs4库里的BeautifulSoup类 from 阅读全文
posted @ 2020-12-02 22:16 DarSkey 阅读(141) 评论(0) 推荐(0) 编辑
摘要: #作业①: (1)要求: 熟练掌握 Selenium 查找HTML元素、爬取Ajax网页数据、等待HTML元素等内容。 使用Selenium框架爬取京东商城某类商品信息及图片。 (2)实验代码: import time from selenium import webdriver from sele 阅读全文
posted @ 2020-11-21 22:13 DarSkey 阅读(209) 评论(0) 推荐(0) 编辑
摘要: 作业1 1)要求:熟练掌握 scrapy 中 Item、Pipeline 数据的序列化输出方法;Scrapy+Xpath+MySQL数据库存储技术路线爬取当当网站图书数据 2)实验代码: setting.py # Configure item pipelines # See https://docs 阅读全文
posted @ 2020-11-03 16:45 DarSkey 阅读(127) 评论(0) 推荐(0) 编辑
摘要: #作业一: (1)实验要求:指定一个网站,爬取这个网站中的所有的所有图片,例如中国气象网(http://www.weather.com.cn)。分别使用单线程和多线程的方式爬取。 (2)实验代码: 单线程实验代码: from bs4 import BeautifulSoup from bs4 imp 阅读全文
posted @ 2020-10-20 13:06 DarSkey 阅读(152) 评论(0) 推荐(0) 编辑
摘要: #作业1: (1)实验要求:在中国气象网(http://www.weather.com.cn)给定城市集的7日天气预报,并保存在数据库。 (2)实验代码: import requests from bs4 import BeautifulSoup import re def get_page(url 阅读全文
posted @ 2020-10-08 22:51 DarSkey 阅读(172) 评论(0) 推荐(0) 编辑
摘要: 作业1: (1)实验要求: 用requests和BeautifulSoup库方法定向爬取给定网址(http://www.shanghairanking.cn/rankings/bcur/2020 )的数据,屏幕打印爬取的大学排名信息。 (2)实验代码: import requests import 阅读全文
posted @ 2020-09-29 17:50 DarSkey 阅读(219) 评论(0) 推荐(0) 编辑
摘要: 学号031804138; 我是张世博; 我的爱好是看动漫; 推荐你福大食堂中最喜欢的一道菜:玫瑰园,刀削面; 推荐你目前最喜欢的一首歌:私は美人です 一句想说的话:哈哈哈 …… 根据个人情况来看,选择工作,赚钱为主 阅读全文
posted @ 2020-09-20 16:37 DarSkey 阅读(170) 评论(0) 推荐(0) 编辑