摘要：
稍后完成 阅读全文
posted @ 2021-02-24 21:15
峰豪
阅读(45)
评论(0)
推荐(0)
摘要：
1.更换访问ip和user_agent user_agent_list = [ "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 " "(KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1" 阅读全文
posted @ 2021-02-24 15:57
峰豪
阅读(71)
评论(0)
推荐(0)
摘要：
1.可以在原来的items的基础上添加一个新的item类型 class imgItem(scrapy.Item): # define the fields for your item here like: title = scrapy.Field() link = scrapy.Field() 2. 阅读全文
posted @ 2021-02-24 15:44
峰豪
阅读(160)
评论(0)
推荐(0)
摘要：
1.在scrapy.cfg同路径下创建run.py 2.写入 # -*- coding: utf-8 -*- from scrapy import cmdline name = 'douban' cmd = 'scrapy crawl {0}'.format(name) cmdline.execut 阅读全文
posted @ 2021-02-24 15:11
峰豪
阅读(140)
评论(0)
推荐(0)
摘要：
cd 文件目录（进入到你的一个文件中） scrapy startproject 项目名字 cd 项目名字 （进入这个爬虫项目） scrapy genspider (-t crwal) 爬虫名字 运行爬虫：scrapy crawl 爬虫名字 先注释掉allowed_domains settings的四 阅读全文
posted @ 2021-02-24 15:07
峰豪
阅读(90)
评论(0)
推荐(0)
摘要：
from selenium import webdriver from time import sleep from selenium.webdriver.chrome.options import Options # 实现无可视化界面 from selenium.webdriver import 阅读全文
posted @ 2021-02-24 10:26
峰豪
阅读(117)
评论(0)
推荐(0)
摘要：
主程序 # 做一个滑动验证码的通过 from selenium import webdriver from lxml import etree from time import sleep from selenium.webdriver import ChromeOptions, ActionCha 阅读全文
posted @ 2021-02-24 10:14
峰豪
阅读(535)
评论(0)
推荐(0)
浙公网安备 33010602011771号