摘要: 一、案例 用selenium免登录淘宝网 二、代码 1 import json 2 import time 3 from selenium import webdriver 4 browser = webdriver.Chrome('E:/python/chromedriver.exe') 5 #导 阅读全文
posted @ 2020-09-12 16:01 sgdplus 阅读(45) 评论(0) 推荐(0)
摘要: Selenium本质上是一款自动化测试工具,主要用于测试Web应用。对动态网页(用JavaScript渲染的网页),这种抓取方式非常有效。 一、安装Selenium 进入开始菜单,搜索cdm,进入后pip install selenium即可 二、安装WebDriver WebDriver是一个W3 阅读全文
posted @ 2020-09-06 14:21 sgdplus 阅读(33) 评论(0) 推荐(0)
摘要: 一、案例说明 用Scarpy爬取湖北经济学院经院要闻新闻的标题、网址,http://news.hbue.edu.cn/jyyw/list.htm。 需注意:动态网页的源代码,被浏览器加工后,可能与源代码不同。 二、Scarpy操作 (1)在电脑开始菜单中,搜索cmd并打开 (2)在cmd中,切换到写 阅读全文
posted @ 2020-09-04 14:26 sgdplus 阅读(63) 评论(0) 推荐(0)
摘要: 一、案例说明 本案例使用requests和BeautifulSoup爬取湖北经济学院经院要闻的前2页新闻标题、日期、发布者、内容 二、爬虫思路 首先找到网址(http://news.hbue.edu.cn/jyyw/list.htm)的页面,右键“检查”,显示出开发者模式 发现每页的新闻网址都为(h 阅读全文
posted @ 2020-09-03 17:36 sgdplus 阅读(50) 评论(0) 推荐(0)