摘要：
框架Scrapy中做持久化（items/pipelines）【以文件保存】 步骤： a. 先写pipeline类 b. 写Item类 c. 配置（settings.py） d. 爬虫，yield每执行一次，process_item就调用一次。 阅读全文
posted @ 2018-07-03 17:21
争-渡
阅读(194)
评论(0)
推荐(0)
摘要：
redis-py默认在执行每次请求都会创建（连接池申请连接）和断开（归还连接池）一次连接操作，如果想要在一次请求中指定多个命令，则可以使用pipline实现一次请求指定多个命令，并且默认情况下一次pipline 是原子性操作。 #!/usr/bin/env python # -*- coding:u 阅读全文
posted @ 2018-07-02 09:23
争-渡
阅读(337)
评论(0)
推荐(0)
摘要：
有序集合，在集合的基础上，为每元素排序；元素的排序需要根据另外一个值来进行比较，所以，对于有序集合，每一个元素有两个值，即：值和分数，分数专门用来做排序。 zadd(name, *args, **kwargs) zcard(name) zcount(name, min, max) zincrby(n 阅读全文
posted @ 2018-07-02 09:18
争-渡
阅读(197)
评论(0)
推荐(0)
摘要：
List操作，redis中的List在在内存中按照一个name对应一个List来存储。如图： lpush(name,values) lpushx(name,value) llen(name) linsert(name, where, refvalue, value)) r.lset(name, in 阅读全文
posted @ 2018-07-02 09:07
争-渡
阅读(164)
评论(0)
推荐(0)
摘要：
Scrapy框架 Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 其可以应用在数据挖掘，信息处理或存储历史数据等一系列的程序中。其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的， 也可以应用在获取API所返回的数据(例如 Amazon Associates Web S 阅读全文
posted @ 2018-06-28 17:17
争-渡
阅读(104)
评论(0)
推荐(0)
摘要：
1、索引 索引是表的目录，在查找内容之前可以先在目录中查找索引位置，以此快速定位查询数据。对于索引，会保存在额外的文件中。 2、索引种类 普通索引：仅加速查询 唯一索引：加速查询 + 列值唯一（可以有null） 主键索引：加速查询 + 列值唯一 + 表中只有一个（不可以有null） 组合索引：多列值 阅读全文
posted @ 2018-06-26 20:45
争-渡
阅读(89)
评论(0)
推荐(0)
摘要：
轮询和长轮询优缺点分析 轮询：客户端定时向服务器发送Ajax请求，服务器接到请求后马上返回响应信息并关闭连接。优点：后端程序编写比较容易。缺点：请求中有大半是无用，浪费带宽和服务器资源。实例：适于小型应用。 长轮询：客户端向服务器发送Ajax请求，服务器接到请求后hold住连接，直到有新消息才返回响 阅读全文
posted @ 2018-06-26 19:35
争-渡
阅读(189)
评论(0)
推荐(0)
摘要：
抽屉热搜榜 #!/usr/bin/env python # -*- coding:utf-8 -*- import requests # ############## 方式一 ############## """ # ## 1、首先登陆任何页面，获取cookie i1 = requests.get( 阅读全文
posted @ 2018-06-26 17:06
争-渡
阅读(310)
评论(0)
推荐(0)
摘要：
BeautifulSoup是一个模块，该模块用于接收一个HTML或XML字符串，然后将其进行格式化，之后遍可以使用他提供的方法进行快速查找指定元素，从而使得在HTML或XML中查找指定元素变得简单。 安装： 使用示例： 1. name，标签名称 # tag = soup.find('a') # na 阅读全文
posted @ 2018-06-26 17:00
争-渡
阅读(92)
评论(0)
推荐(0)
摘要：
网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。 Requests Python标准库中提供了：urllib、urllib2、httplib等模 阅读全文
posted @ 2018-06-25 23:18
争-渡
阅读(148)
评论(0)
推荐(0)
摘要：
一、字段 AutoField(Field) - int自增列，必须填入参数 primary_key=True BigAutoField(AutoField) - bigint自增列，必须填入参数 primary_key=True 注：当model中如果没有自增列，则自动会创建一个列名为id的列 fr 阅读全文
posted @ 2018-06-22 08:25
争-渡
阅读(142)
评论(0)
推荐(0)
摘要：
SQLAlchemy 一. 介绍 SQLAlchemy是一个基于Python实现的ORM框架。该框架建立在 DB API之上，使用关系对象映射进行数据库操作，简言之便是：将类和对象转换成SQL，然后使用数据API执行SQL并获取执行结果。 组成部分： Engine，框架的引擎 Connection 阅读全文
posted @ 2018-06-21 20:33
争-渡
阅读(98)
评论(0)
推荐(0)
摘要：
DBUtils是Python的一个用于实现数据库连接池的模块。 此连接池有两种连接模式： 模式一：为每个线程创建一个连接，线程即使调用了close方法，也不会关闭，只是把连接重新放到连接池，供自己线程再次使用。当线程终止时，连接自动关闭。 POOL = PersistentDB( creator=p 阅读全文
posted @ 2018-06-21 16:41
争-渡
阅读(119)
评论(0)
推荐(0)
摘要：
Django日志文件配置 附：Python logger流示图 使用方法： from django.shortcuts import render, HttpResponse # Create your views here. # 引入logging模块 import logging # 生成一个以 阅读全文
posted @ 2018-06-20 23:10
争-渡
阅读(139)
评论(0)
推荐(0)
摘要：
背景：在数据库取值时，可能会存在只有程序第一次运行是取一次值，后期修改数据库数据，静态字段将不会重新到数据库中重新取值更新 背景题：在数据库中取值，将获取的值在前端做成下拉列表显示 部分代码展示 帮助我们处理sql语句的.py文件 import pymysql from DBUtils.Pooled 阅读全文
posted @ 2018-06-20 22:48
争-渡
阅读(172)
评论(0)
推荐(0)
摘要：
安装方法： 用户登录注册示例 1. 用户登录 当用户登录时候，需要对用户提交的用户名和密码进行多种格式校验。如： 用户不能为空；用户长度必须大于6； 用户不能为空；用户长度必须大于6； 密码不能为空；密码长度必须大于12；密码必须包含 字母、数字、特殊字符等（自定义正则）； #!/usr/bin/e 阅读全文
posted @ 2018-06-19 23:39
争-渡
阅读(150)
评论(0)
推荐(0)
摘要：
功能扩展： Flask-SQLAlchemy ORM Flask-Babel 全球化 Flask-WTF 对wtforms的插件，默认加入了csrf功能（防止表单重复提交）和Recaptcha（验证码） Flask-Admin、 Flask-Security， Flask-Gravatar Flas 阅读全文
posted @ 2018-06-14 15:29
争-渡
阅读(264)
评论(0)
推荐(0)
摘要：
第三方宽展组件集合：http://flask.pocoo.org/extensions/ 阅读全文
posted @ 2018-06-12 19:02
争-渡
阅读(75)
评论(0)
推荐(0)
摘要：
redis字典操作 所有操作redis字典方法 Hash操作，redis中Hash在内存中的存储格式如下图： hset(name, key, value) hmset(name, mapping) hget(name,key) hmget(name, keys, *args) hgetall(nam 阅读全文
posted @ 2018-06-06 20:13
争-渡
阅读(272)
评论(0)
推荐(0)
摘要：
Centos7 下 安装redis redis是一个软件，帮助开发者对一台机器的内存进行操作。 1、安装redis 第一步：下载redis安装包 第二步：解压压缩包 第三步：yum安装gcc依赖 第四步：跳转到redis解压目录下 第五步：编译安装 将/usr/local/redis-4.0.6/s 阅读全文
posted @ 2018-06-06 19:24
争-渡
阅读(91)
评论(0)
推荐(0)
浙公网安备 33010602011771号