2019年7月3日
bs4
摘要： 一、 bs4安装与使用 '''''' ''' 安装解析器: pip3 install lxml 安装解析库: pip3 install bs4 ''' html_doc = """ <html><head><title>The Dormouse's story</title></head> <bod 阅读全文
posted @ 2019-07-03 22:59 胥毅 阅读(282) 评论(0) 推荐(0)
selenium
摘要： from selenium import webdriver # web驱动from selenium.webdriver.common.by import By # 按照什么方式查找，By.ID,By.CSS_SELECTORfrom selenium.webdriver.common.keys 阅读全文
posted @ 2019-07-03 22:57 胥毅 阅读(145) 评论(0) 推荐(0)
豌豆荚
摘要： User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36 Cookie 阅读全文
posted @ 2019-07-03 22:51 胥毅 阅读(347) 评论(0) 推荐(0)
豆瓣
摘要： '''''一.请求url:https://movie.douban.com/top250二.请求方式:GET三.请求头:User-Agent:Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chr 阅读全文
posted @ 2019-07-03 08:19 胥毅 阅读(258) 评论(0) 推荐(0)
2019年7月1日
爬虫三部曲
摘要： import timeimport requests# 爬虫三部曲# 1.发送请求def get_page(url): response = requests.get(url) return response# 2.解析数据import redef parse_index(html): # find 阅读全文
posted @ 2019-07-01 19:43 胥毅 阅读(285) 评论(0) 推荐(0)
post 请求自动登陆github
摘要： '''访问登陆页面请求URL：https://github.com/login请求方式：GET请求头：COOKIESUser-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chro 阅读全文
posted @ 2019-07-01 16:43 胥毅 阅读(334) 评论(0) 推荐(0)