摘要：
scrapy的基本使用我们已经掌握，但是各位心中一定会有些许的疑问，我们在编写scrapy工程的时候，我们只是在定义相关类中的属性或者方法，但是我们并没有手动的对类进行实例化或者手动调用过相关的方法，那么这些操作都是谁做的呢？接下来我们就来看看scrapy的五大核心组件的工作流程，然后大家就会上述的 阅读全文
posted @ 2021-08-21 23:11
likl-
阅读(347)
评论(0)
推荐(0)
摘要：
1 #!/usr/bin/env python 2 # -*- coding:utf-8 -*- 3 import requests 4 import json 5 6 if __name__ == "__main__": 7 headers = { 8 'User-Agent': 'Mozilla 阅读全文
posted @ 2021-08-21 22:58
likl-
阅读(152)
评论(0)
推荐(0)
摘要：
1 import requests 2 from lxml import etree 3 import re 4 from multiprocessing.dummy import Pool 5 #需求：爬取梨视频的视频数据 6 headers = { 7 'User-Agent':'Mozilla 阅读全文
posted @ 2021-08-21 22:28
likl-
阅读(80)
评论(0)
推荐(0)
摘要：
1 from Codeclass1 import Chaojiying_Client 2 from lxml import etree 3 import requests 4 5 # session = requests.Session() 6 7 # 将验证码图片下载到本地 8 headers = 阅读全文
posted @ 2021-08-21 22:23
likl-
阅读(173)
评论(0)
推荐(0)
摘要：
1 import requests 2 from lxml import etree 3 import os 4 if __name__ == "__main__": 5 url = "https://aspx.sc.chinaz.com/query.aspx" 6 headers = { 7 "U 阅读全文
posted @ 2021-08-21 22:21
likl-
阅读(150)
评论(0)
推荐(0)
摘要：
1 import requests 2 if __name__ == "__main__": 3 header = { 4 "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Geck 阅读全文
posted @ 2021-08-21 22:20
likl-
阅读(51)
评论(0)
推荐(0)
摘要：
1 from selenium import webdriver 2 import time 3 from PIL import Image 4 from Codeclass import Chaojiying_Client 5 from selenium.webdriver import Acti 阅读全文
posted @ 2021-08-21 18:07
likl-
阅读(143)
评论(0)
推荐(0)
浙公网安备 33010602011771号