摘要： 1.熟练掌握 Selenium 查找HTML元素、爬取Ajax网页数据、等待HTML元素等内容使用Selenium框架+ MySQL数据库存储技术路线爬取“沪深A股”、“上证A股”、“深证A股”3个板块的股票数据信息。 实验内容 网页结构 在table中的tr为每行元素，td为单个属性 核心代码 点 阅读全文

摘要： 1.指定一个网站，爬取这个网站中的所有的所有图片，例如：中国气象网（http://www.weather.com.cn）。实现单线程和多线程的方式爬取。 内容 由于是爬了好几次的网站，所以不放网页结构了 核心代码 1.单线程 点击查看代码 import requests from bs4 impor 阅读全文

摘要： 在中国气象网给定城市集的7日天气预报，并保存在数据库 内容 核心代码 点击查看代码 import sqlite3 import requests from bs4 import BeautifulSoup class WeatherDB: def __init__(self): self.con = 阅读全文

摘要： 1.用requests和BeautifulSoup库方法爬取大学排名信息 内容 核心代码： 点击查看代码 import urllib.request from bs4 import BeautifulSoup url = 'http://www.shanghairanking.cn/rankings 阅读全文