随笔分类 - Python
Python
摘要：第三百二十七节，web爬虫讲解2—urllib库爬虫 利用python系统自带的urllib库写简单爬虫 urlopen()获取一个URL的html源码read()读出html源码内容decode("utf-8")将字节转化成字符串 正则获取页面指定内容 urlretrieve()将网络文件下载保存
阅读全文
摘要：第三百二十六节，web爬虫，scrapy模块,解决重复url——自动递归url 一般抓取过的url不重复抓取，那么就需要记录url，判断当前URL如果在记录里说明已经抓取过了，如果不存在说明没抓取过 记录url可以是缓存，或者数据库，如果保存数据库按照以下方式： id URL加密(建索引以便查询)
阅读全文
摘要：第三百二十五节，web爬虫，scrapy模块标签选择器下载图片，以及正则匹配标签 标签选择器对象 HtmlXPathSelector()创建标签选择器对象，参数接收response回调的html对象需要导入模块：from scrapy.selector import HtmlXPathSelecto
阅读全文
摘要：第三百二十四节，web爬虫，scrapy模块介绍与使用 Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 其可以应用在数据挖掘，信息处理或存储历史数据等一系列的程序中。其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的， 也可以应用在获取API所返回的数据(例如 Amaz
阅读全文
摘要：第三百二十三节，web爬虫，scrapy模块以及相关依赖模块安装 当前环境python3.5 ，windows10系统 Linux系统安装 在线安装，会自动安装scrapy模块以及相关依赖模块 手动源码安装，比较麻烦要自己手动安装scrapy模块以及依赖模块 安装以下模块 1、lxml-3.8.0.
阅读全文
摘要：第三百二十二节，web爬虫，requests请求 requests请求，就是用yhthon的requests模块模拟浏览器请求，返回html源码 模拟浏览器请求有两种，一种是不需要用户登录或者验证的请求，一种是需要用户登录或者验证的请求 一、不需要用户登录或者验证的请求 这种比较简单，直接利用req
阅读全文
摘要：第三百二十一节，Django框架，发送邮件 全局配置settings.py send_mail() 每次发邮件都会建立一个连接，发多封邮件时建立多个连接 send_mass_mail() 是建立单个连接发送多封邮件，所以一次性发送多封邮件时 send_mass_mail 要优于 send_mail。
阅读全文
摘要：第三百二十节，Django框架，生成二维码 用Python来生成二维码，需要qrcode模块，qrcode模块依赖Image 模块，所以首先安装这两个模块 生成二维码保存图片在本地 Python中调用： Django 中使用 html 路由映射 逻辑处理
阅读全文
摘要：第三百一十九节，Django框架，文件上传 1、自定义上传【推荐】 请求对象.FILES.get()获取上传文件的对象上传对象.name获取上传文件名称上传对象.chunks()获取上传数据包，字节码类型 html 逻辑处理 内置方式 表单验证模块 数据库操作Models模块 逻辑处理模块
阅读全文
摘要：第三百一十八节，Django框架，信号 Django中提供了“信号调度”，用于在框架执行操作时解耦。通俗来讲，就是一些动作发生的时候，信号允许特定的发送者去提醒一些接受者。 也就是当程序有指定动作时，触发一个信号函数 1、Django内置信号 信号的使用 首先在app项目的__init__.py 这
阅读全文
摘要：第三百一十七节，Django框架，缓存 由于Django是动态网站，所有每次请求均会去数据进行相应的操作，当程序访问量大时，耗时必然会更加明显，最简单解决方式是使用：缓存，缓存将一个某个views的返回值保存至内存或者memcache中，5分钟内再有人来访问时，则不再去执行view中的操作，而是直接
阅读全文
摘要：第三百一十六节，Django框架，中间件 django 中的中间件（middleware），在django中，中间件其实就是一个类，在请求到来和结束后，django会根据自己的规则在合适的时机执行中间件中相应的方法。 在django项目的settings模块中，有一个 MIDDLEWARE变量，其中
阅读全文
摘要：第三百一十五节，Django框架，CSRF跨站请求伪造 全局CSRF 如果要启用防止CSRF跨站请求伪造，就需要在中间件开启CSRF 注意：一旦开启了csrf提交表单时会出现403错误，必须结合两个步骤来使用 第一、页面响应返回必须由render()方法 第二、必须在html页面的<form>标签里
阅读全文
摘要：第三百一十四节，Django框架，自定义分页 自定义分页模块 逻辑处理 html
阅读全文
摘要：第三百一十三节，Django框架，Session Django中默认支持Session，其内部提供了5种类型的Session供开发者使用： 1、数据库（默认）2、缓存3、文件4、缓存+数据库5、加密cookie 1、数据库Session，保存在数据库 Django默认支持Session，并且默认是将
阅读全文
摘要：第三百一十二节，Django框架，Cookie 注意：获取Cookie是在请求对象里处理，设置Cookie是在响应对象里处理 普通Cookieset_cookie()设置普通cookie 参数： key, 键 value='', 值 max_age=None, 超时时间，秒，也支持时间戳 expir
阅读全文
摘要：第三百一十一节，Django框架，Form表单验证 表单提交 html 路由映射 逻辑处理 method属性获取用户请求方式，post或者get使用方式：请求对象.method POST获取用户post请求方式的信息使用方式：请求对象.POST POST.get()获取用户POST请求方式的表单na
阅读全文
摘要：第三百一十节，Django框架，模板语言 模板语言就是可以将动态数据在html模板渲染的语言 一、接收值渲染 locals()函数，写在请求响应render()函数里，可以将逻辑处理函数里的变量传到html用模板语言渲染 {{...}}接收一个变量或者值进行渲染 逻辑处理 html 二、接收值，运行
阅读全文
摘要：第三百零九节，Django框架,models.py模块，数据库操作——F()和Q()运算符：|或者、&并且 F()可以将数据库里的数字类型的数据，转换为可以数字类型 首先要导入 from django.db.models import F Q()运算符：|或者、&并且 实列： 执行原生SQL que
阅读全文
摘要：第三百零八节，Django框架,models.py模块，数据库操作——链表结构，一对多、一对一、多对多 链表操作 链表，就是一张表的外键字段，连接另外一张表的主键字段 一对多 models.ForeignKey()外键字段一对多，值是要外键的表类 正向查找，也就是通过表的外键，查找到外键连接的表里的
阅读全文
浙公网安备 33010602011771号