摘要： 作业①: 要求： 1.熟练掌握 Selenium 查找 HTML 元素、爬取 Ajax 网页数据、等待 HTML 元素等内容。 2.使用 Selenium 框架+ MySQL 数据库存储技术路线爬取“沪深 A 股”、 “上证 A 股”、“深证 A 股”3 个板块的股票数据信息。 候选网站： 东方财富 阅读全文

摘要： 作业①: 要求：指定一个网站，爬取这个网站中的所有的所有图片：中国气象网（http://www.weather.com.cn）。实现单线程和多线程的方式爬取 输出信息: 将下载的Url信息在控制台输出，并将下载的图片存储在images子文件中，并给出截图。 一.单线程 核心代码： # URL管理 u 阅读全文

摘要： 作业1: 1.在中国气象网（http://www.weather.com.cn）给定城市集的7日天气预报，并保存在数据库。 核心代码： 从中国气象网上获取天气预报的原始 HTML 数据，并解析出需要的信息。将抓取到的干净数据存入一个 SQLite 数据库文件中，实现数据的持久化。 运行结果： 2.心 阅读全文

摘要： 1.用requests和BeautifulSoup库方法爬取大学排名信息。 核心代码及结果 由图可知，所需信息在table的tbody下的 标签，然后逐一排查寻找需要的5个标签即可。 心得 从这道题我掌握了如何使用正则化表达式匹配中文序列，当我想要爬取所有页面的信息时，这个网页的翻页无法用简单的fo 阅读全文