爬虫（四）
xpath的使用
1、html中选择标签，可以使用的通用方式
css选择
xpath选择
XPath即为XML路径语言(XML Path Language)，它是一种用来确定XML文档中某部分位置的语言
2、语法的简单介绍
- nodename 选取此节点的所有子节点
- / 从根节点选取 /body/div
- // 从匹配选择的当前节点选择文档中的节点，而不考虑它们的位置 （//div==/body/div/ ）（就是不考虑位置，把页面中所有的div都找出来,如果是/div就是在当前根节点下找div）
- . 选取当前节点
- .. 选取当前节点的父节点
- @ 选取属性
3、终极大招
-复制
4、案例
注意：lxml 和 base64都是解析库
doc='''
<html>
<head>
<base href='http://example.com/' />
<title>Example website</title>
</head>
<body>
<div id='images'>
<a href='image1.html' id='id_a'>Name: My image 1 <br/><img src='image1_thumb.jpg' /></a>
<a href='image2.html'>Name: My image 2 <br /><img src='image2_thumb.jpg' /></a>
<a href='image3.html'>Name: My image 3 <br /><img src='image3_thumb.jpg' /></a>
<a href='image4.html'>Name: My image 4 <br /><img src='image4_thumb.jpg' /></a>
<a href='image5.html' class='li li-item' name='items'>Name: My image 5 <br /><img src='image5_thumb.jpg' /></a>
<a href='image6.html' name='items'><span><h5>test</h5></span>Name: My image 6 <br /><img src='image6_thumb.jpg' /></a>
</div>
</body>
</html>
'''
from lxml import etree
html=etree.HTML(doc)
# html=etree.parse('search.html',etree.HTMLParser())
1 所有节点
# a=html.xpath('//*')
2 指定节点（结果为列表）
# a=html.xpath('//head')
3 子节点，子孙节点
# a=html.xpath('//div/a')
# a=html.xpath('//body/a') #无数据
# a=html.xpath('//body//a')
4 父节点
# a=html.xpath('//body//a[@href="image1.html"]/..') @标签可以拿属性 .. 表示上一层
# a=html.xpath('//body//a[1]/..')
# 也可以这样
# a=html.xpath('//body//a[1]/parent::*') 这里写个*是表示无论他的父标签是谁，是div也好，是p也好，都能找出来，但如果把*写成具体某一个，写成p（但确实他真正的父标签是div,这样就找不到了，就返回[]）
# a=html.xpath('//body//a[1]/parent::div')
5 属性匹配
# a=html.xpath('//body//a[@href="image1.html"]')
6 文本获取 text() ********
# a=html.xpath('//body//a[@href="image1.html"]/text()') /text()就是获取某个属性的文本
7 属性获取 ******
# a=html.xpath('//body//a/@href')
# a=html.xpath('//body//a/@id')
# # 注意从1 开始取（不是从0）
# a=html.xpath('//body//a[1]/@id')
8 属性多值匹配
# a 标签有多个class类，直接匹配就不可以了，需要用contains
# a=html.xpath('//body//a[@class="li"]') 如果类名有多个类，这样是拿不出来的，只能返回[]
# a=html.xpath('//body//a[@name="items"]')
# a=html.xpath('//body//a[contains(@class,"li")]') 这里用contains包含起来就是，类中包含li的，拿出来
# a=html.xpath('//body//a[contains(@class,"li")]/text()')
9 多属性匹配
# a=html.xpath('//body//a[contains(@class,"li") or @name="items"]')
# a=html.xpath('//body//a[contains(@class,"li") and @name="items"]/text()')
10 按序选择
# a=html.xpath('//a[2]/text()')
# a=html.xpath('//a[3]/@href')
# 取最后一个
# a=html.xpath('//a[last()]/@href')
# 位置小于3的
# a=html.xpath('//a[position()<3]/@href')
# 倒数第二个
# a=html.xpath('//a[last()-2]/@href')
# 11 节点轴选择
# ancestor：祖先节点
# 使用了* 获取所有祖先节点
# a=html.xpath('//a/ancestor::*')
# # 获取祖先节点中的div
# a=html.xpath('//a/ancestor::div')
# attribute：属性值
# a=html.xpath('//a[1]/attribute::*')
# a=html.xpath('//a[1]/attribute::href')
# child：直接子节点
# a=html.xpath('//a[1]/child::*')
# descendant：所有子孙节点
# a=html.xpath('//a[6]/descendant::*')
# following:当前节点之后所有节点
# a=html.xpath('//a[1]/following::*')
# a=html.xpath('//a[1]/following::*[1]/@href')
# following-sibling:当前节点之后同级节点
# a=html.xpath('//a[1]/following-sibling::*')
# a=html.xpath('//a[1]/following-sibling::a')
# a=html.xpath('//a[1]/following-sibling::*[2]')
a=html.xpath('//a[1]/following-sibling::*[2]/@href')
print(a)selenium动作链
1、网站中有些按住鼠标，有滑动的效果，这个称作动作链
- 如：滑动验证码
2、两种形式
- 形式一：
actions=ActionChains(bro) #拿到动作链对象，调用浏览器对象
actions.drag_and_drop(sourse,target) #把动作放到动作链中，准备串行执行 这句话的意思就是从source这个标签拖动到tarGET这个标签上
actions.perform()- 方式二：
ActionChains(bro).click_and_hold(sourse).perform() # 意思是点住，然后暂时不动
distance=target.location['x']-sourse.location['x']
track=0
while track < distance: # 起了一个while循环，不是一口气移过去的，是慢慢移的
ActionChains(bro).move_by_offset(xoffset=2,yoffset=0).perform() # 从x轴移两个，从y轴移零个
track+=2自动登录12306
from selenium import webdriver
from selenium.webdriver.common.by import By
import time
from selenium.webdriver import ActionChains
from selenium.webdriver.chrome.options import Options
options = Options()
options.add_argument("--disable-blink-features=AutomationControlled") # 去掉自动化控制的提示
bro = webdriver.Chrome(executable_path='./chromedriver.exe', options=options)
bro.get('https://kyfw.12306.cn/otn/resources/login.html')
bro.maximize_window()
# 12306检测到了我们使用了selenium控制了浏览器，所以它的滑块出不来
bro.implicitly_wait(10)
try:
username = bro.find_element(by=By.ID, value='J-userName')
username.send_keys('')
password = bro.find_element(by=By.ID, value='J-password')
password.send_keys('')
time.sleep(3)
btn = bro.find_element(by=By.ID, value='J-login')
btn.click()
span = bro.find_element(by=By.ID, value='nc_1_n1z')
ActionChains(bro).click_and_hold(span).perform() # 鼠标点住
ActionChains(bro).move_by_offset(xoffset=300, yoffset=0).perform() #滑动
time.sleep(10)
except Exception as e:
print(e)
finally:
bro.close()打码平台
咱们把验证码图片发给第三方，第三方帮咱们解决，我们只需要用钱就可以了
使用打码平台自动登录
import time
from selenium import webdriver
from selenium.webdriver.common.by import By
from chaojiying import ChaojiyingClient
from PIL import Image
bro = webdriver.Chrome(executable_path='./chromedriver.exe')
bro.get('http://www.chaojiying.com/apiuser/login/')
bro.implicitly_wait(10)
bro.maximize_window()
try:
username = bro.find_element(by=By.XPATH, value='/html/body/div[3]/div/div[3]/div[1]/form/p[1]/input')
password = bro.find_element(by=By.XPATH, value='/html/body/div[3]/div/div[3]/div[1]/form/p[2]/input')
code = bro.find_element(by=By.XPATH, value='/html/body/div[3]/div/div[3]/div[1]/form/p[3]/input')
btn = bro.find_element(by=By.XPATH, value='/html/body/div[3]/div/div[3]/div[1]/form/p[4]/input')
username.send_keys('306334678')
password.send_keys('lqz123')
# 获取验证码：
#1 整个页面截图
bro.save_screenshot('main.png')
# 2 使用pillow，从整个页面中截取出验证码图片 code.png
img = bro.find_element(By.XPATH, '/html/body/div[3]/div/div[3]/div[1]/form/div/img')
location = img.location
size = img.size
print(location)
print(size)
# 使用pillow扣除大图中的验证码
img_tu = (int(location['x']), int(location['y']), int(location['x'] + size['width']), int(location['y'] + size['height']))
# # 抠出验证码
# #打开
img = Image.open('./main.png')
# 抠图
fram = img.crop(img_tu)
# 截出来的小图
fram.save('code.png')
# 3 使用超级鹰破解
chaojiying = ChaojiyingClient('306334678', 'lqz123', '937234') # 用户中心>>软件ID 生成一个替换 96001
im = open('code.png', 'rb').read() # 本地图片文件路径 来替换 a.jpg 有时WIN系统须要//
print(chaojiying.PostPic(im, 1902)) # 1902 验证码类型 官方网站>>价格体系 3.4+版 print 后要加()
res_code=chaojiying.PostPic(im, 1902)['pic_str']
code.send_keys(res_code)
time.sleep(5)
btn.click()
time.sleep(10)
except Exception as e:
print(e)
finally:
bro.close()使用selenium爬取京东商品信息
from selenium import webdriver
from selenium.webdriver.common.by import By # 按照什么方式查找，By.ID,By.CSS_SELECTOR
import time
from selenium.webdriver.common.keys import Keys
def get_goods(driver):
try:
goods = driver.find_elements(by=By.CLASS_NAME, value='gl-item')
for good in goods:
name = good.find_element(by=By.CSS_SELECTOR, value='.p-name em').text
price = good.find_element(by=By.CSS_SELECTOR, value='.p-price i').text
commit = good.find_element(by=By.CSS_SELECTOR, value='.p-commit a').text
url = good.find_element(by=By.CSS_SELECTOR, value='.p-name a').get_attribute('href')
img = good.find_element(by=By.CSS_SELECTOR, value='.p-img img').get_attribute('src')
if not img:
img ='https://'+ good.find_element(by=By.CSS_SELECTOR, value='.p-img img').get_attribute('data-lazy-img')
print('''
商品名字：%s
商品价格：%s
商品链接：%s
商品图片：%s
商品评论：%s
''' % (name, price, url, img, commit))
button = driver.find_element(by=By.PARTIAL_LINK_TEXT, value='下一页')
button.click()
time.sleep(1)
get_goods(driver)
except Exception as e:
print(e)
def spider(url, keyword):
driver = webdriver.Chrome(executable_path='./chromedriver.exe')
driver.get(url)
driver.implicitly_wait(10) # 使用隐式等待
try:
input_tag = driver.find_element(by=By.ID, value='key')
input_tag.send_keys(keyword)
input_tag.send_keys(Keys.ENTER)
get_goods(driver)
finally:
driver.close()
if __name__ == '__main__':
spider('https://www.jd.com/', keyword='精品内衣')scrapy介绍
1、前面学的都是模块，做专业的爬虫，可以使用框架(dajngo:web) scarpy：爬虫框架
2、scrapy 号称爬虫界的django
- django 大而全，做web相关的它都用
- scrapy 大而全，做爬虫的，它都用
3、介绍
Scrapy一个开源和协作的框架，其最初是为了页面抓取(更确切的来说，网络抓取)所涉及的，使用它可以快速、简单、可扩展的方式从网站中提取所需的数据。但目前Scrapy的用途十分广泛，可用于如数据挖掘、监测和自动化测试等领域，也可以应用在获取API
浙公网安备 33010602011771号