摘要：
1。在middlewares中添加自己的新类： class Mylei(object): def process_request(self,request,spider): referer=request.url if referer: request.headers["referer"] = re 阅读全文
posted @ 2020-02-06 12:06
myrj
阅读(5207)
评论(0)
推荐(0)
摘要：
1。安装SCRAPY2。进入CMD：执行：SCRAPY显示： Scrapy 1.8.0 - no active project Usage: scrapy <command> [options] [args] Available commands: bench Run quick benchmark 阅读全文
posted @ 2020-02-05 06:45
myrj
阅读(508)
评论(0)
推荐(0)
摘要：
>>> a="1">>> b="a">>> print(a,b)1 a>>> print(a,locals()[b])1 1>>>locals() 函数会以字典类型返回当前位置的全部局部变量。>>> print(locals()) {'__name__': '__main__', '__doc__' 阅读全文
posted @ 2020-02-03 17:00
myrj
阅读(522)
评论(0)
推荐(0)
摘要：
中文帮助进入文件夹：1。scrapy startproject mingzi #建立爬虫项目2.scrapy genspider -t crawl ygdy8 ygdy8.com #建立指定爬虫：ygdy8为爬虫名称，ygdy8.com：爬虫允许的范围，即只在这个范围内爬取 3.scrapy cra 阅读全文
posted @ 2020-02-01 15:41
myrj
阅读(240)
评论(0)
推荐(0)
摘要：
with语句适用于对资源进行访问的场合，确保不管使用过程中是否发生异常都会执行必要的“清理”操作，释放资源，比如文件使用后自动关闭、线程中锁的自动获取和释放等。 例1：url = 'http://www.weather.com.cn/' + province + '/index.shtml'with 阅读全文
posted @ 2020-01-31 08:07
myrj
阅读(1008)
评论(0)
推荐(0)
摘要：
Python的程序有两中退出方式：os._exit()， sys.exit() os._exit()会直接将python程序终止，之后的所有代码都不会继续执行。 sys.exit()会引发一个异常：SystemExit，如果这个异常没有被捕获，那么python解释器将会退出。如果有捕获此异常的代码， 阅读全文
posted @ 2020-01-31 07:39
myrj
阅读(8840)
评论(0)
推荐(0)
摘要：
import random import requests def get_htmla(url): aui=0 while aui==0: try: header={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537. 阅读全文
posted @ 2020-01-30 20:45
myrj
阅读(794)
评论(0)
推荐(0)
摘要：
1。整理好答案文件为文本文件；不能有空行；每个题干前有数字做为题号；每个题答案第一个字符为字母,答案占一行import time import time import sys import os import re import tkinter import tkinter.messagebox # 阅读全文
posted @ 2020-01-30 20:39
myrj
阅读(1357)
评论(0)
推荐(0)
摘要：
Python split()方法Python split() 通过指定分隔符对字符串进行切片，如果参数 num 有指定值，则分隔 num+1 个子字符串str.split(str="", num=string.count(str)).参数str -- 分隔符，默认为所有的空字符，包括空格、换行(\n 阅读全文
posted @ 2020-01-30 20:22
myrj
阅读(604)
评论(0)
推荐(0)
摘要：
import requestsimport re txt='<a href="https://www.vgirls.com/13404.html" class="list-title text-md h-2x" target="_blank">想把夏日的阳光寄给冬日的你</a>'urla=re.fi 阅读全文
posted @ 2020-01-30 19:56
myrj
阅读(2050)
评论(0)
推荐(0)
浙公网安备 33010602011771号