2019年5月14日
scrapy框架
摘要： #创建项目 scrapy startproject demo #开一个爬虫项目 cd demo scrapy genspider first www.baidu.com #setting 中设置 ROBOTSTXT_OBEY = False USER_AGENT = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/... 阅读全文
posted @ 2019-05-14 16:10 Mr_Smith 阅读(149) 评论(0) 推荐(0)
模拟登陆request-session
摘要： #人人网的模拟登录 import requests import urllib from lxml import etree #获取session对象 session = requests.Session() #将验证码图片进行下载 headers = { 'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit... 阅读全文
posted @ 2019-05-14 10:01 Mr_Smith 阅读(1425) 评论(0) 推荐(0)