随笔分类 - Python
Life is short, you need Python！
摘要：在python历史版本中的演变史 python2.2之前： MRO原则： 只有经典类，遵循深度优先（从左到右）原则， 存在的问题：在有重叠的多继承中，违背重写可用原则 解决办法是再设计类的时候不要设计这样有问题的类 python2.2版本： MRO原则： 经典类：遵循深度优先（从左到右）原则 引入新
阅读全文
摘要：创建一个虚拟环境：在虚拟环境中创建项目目录 cd到项目根目录 创建项目：django-admin startproject "项目名称" 创建app:python manage.py startapp "app名称" 启动项目：python manage.py runserver 127.0.0.1
阅读全文
摘要：1、打开cmd安装pipenv, pip install pipenv 2、新建工程目录，项目目录，然后cmd进入工程目录 基本命令： pipenv install 创建虚拟环境 pipenv shell 进入虚拟环境（如果不存在，则创建并进入虚拟环境） pipenv install flask 安
阅读全文
摘要：Scrapy-Redis 详解 通常我们在一个站站点进行采集的时候，如果是小站的话 我们使用scrapy本身就可以满足。 但是如果在面对一些比较大型的站点的时候，单个scrapy就显得力不从心了。 要是我们能够多个Scrapy一起采集该多好啊 人多力量大。 很遗憾Scrapy官方并不支持多个同时采集
阅读全文
摘要：创建scrapy工程项目，除了爬虫文件中的代码需要略微修改，其他模块用法相同（如中间件，管道等）； 爬虫文件代码流程 导入链接提取器 from scrapy.linkextractors import LinkExtractor 导入规则解析器 from scrapy.spiders import
阅读全文
摘要：selenium可以用来完成浏览器自动化相关的操作，写一些代码制定一些基于浏览器自动化的相关操作（行为动作），当代码执行后，浏览器就会自动触发相关的事件 安装方法: pip install selenium 下载对应浏览器的驱动程序 谷歌浏览器驱动下载地址： https://chromedriver
阅读全文
摘要：1、增加并发线程开启数量 settings配置文件中，修改CONCURRENT_REQUESTS = 100,默认为32，可适当增加； 2、降低日志级别 运行scrapy时会产生大量日志占用CPU，为减少CPU使用率，可修改log输出级别 settings配置文件中LOG_LEVEL='ERROR'
阅读全文
摘要：linux版本安装 pip3 install scrapy 安装完成 windows版本安装 安装完成 创建scrapy工程项目 1、cmd切换到准备创建的项目目录 2、执行创建命令：scrapy startproject 项目名称 ps:项目名称必须以字母开头，只能包含数字、字母、下划线 创建好后
阅读全文
摘要：使用模型创建表单 django提供了这种简便的方式，使用方法如下： 1、在项目的一个app目录中，创建forms.py文件 2、导入模块： from django import forms from crm import models 3、forms.py文件：
阅读全文
摘要：最近在学习胡阳老师（the5fire）的《Django企业级开发实战》，想要使用pycharm创建django项目时，在使用virtualenv创建虚拟环境后，在pycharm内，无论如何都无法导入正确的环境。通常是提示 django is not importable in this enviro
阅读全文
摘要：概述什么是http协议： 超文本传输协议，是客户端和服务端的通信的一种形式； 爬虫中常用的请求头信息： User-Agent:请求载体的身份标识（浏览器标识） Connection
阅读全文
摘要：当requests发送请求成功后，requests就会得到返回值，如果服务器响应正常，就会接收到响应数据； Response响应中的属性和方法 常用属性： status_code: 数据类型：int 作用：返回HTTP响应的状态码：200、404、500、等 reason: 数据类型：str 作用：
阅读全文
摘要：uWSGI是一个web服务器，它实现了WSGI协议、uwsgi协议、HTTP等协议； WSGI是web服务器网管接口，是一套协议，用于接收用户请求并将请求进行初次封装，然后交给web框架； uwsgi协议，是一个uWSGI服务器自有的协议，它用于定义传输信息的类型，每一个uwsgi packet（数
阅读全文
摘要：Python原生库urllib库不太方便使用，本着"人生苦短, 我用Python"的珍惜生命精神, 基于urllib, 开发了一个对人类来说, 更好使用的一个库——requests requests模块的使用方法基本上是requests.方法(method,url,**kwargs)，括号中传递各种
阅读全文
摘要：异常和错误 错误： 开发过程中难免出现错误，而错误分成两种 1、语法错误（这种错误，根本过不了python解释器的语法检测，必须在程序执行前就改正） 2、逻辑错误（逻辑错误） 异常： 异常就是程序运行时发生错误的信号，在python中,错误触发的异常如下： python中的异常种类 在python中
阅读全文
摘要：@wraps 函数的装饰器修复技术，可使被装饰的函数在增加了新功能的前提下，不改变原函数名称，还继续使用原函数的注释内容； 方便了上下文环境中不去更改原来使用的函数地方的函数名； 使用方法: 执行结果： 可以看出@wraps体现出的作用，方便了上下文环境中不去更改原来使用的函数地方的函数名
阅读全文
摘要：time 模块 time中表示时间的几种格式: random模块: 主要使用背景就是做随机验证码,随机抽取 随机验证码的例子： OS模块 SYS模块
阅读全文
摘要：python中生成器,迭代器是一个难点，总结： 迭代器: 迭代器遵循迭代器协议：必须拥有__iter__方法和__next__方法。 迭代器的特点: 节省内存,惰性运算,一次性取值,只能按顺序取 for循环和迭代器的关系: 无论是可迭代的还是迭代器都可以被for循环 如果直接循环迭代器,循环一次就没
阅读全文
浙公网安备 33010602011771号