摘要: 筛选条件 比较运算符: 等于: = (注意!不是==) 大于等于: >= IS NULL 不等于: != 或 <> 小于:< IS NOT NULL 大于: > 小于等于:<= 逻辑运算符: AND OR NOT 排序: order by select * from table order by i 阅读全文
posted @ 2019-06-01 10:41 Ivy丶 阅读(202) 评论(0) 推荐(0)
摘要: 目的:利用scrapy完成盗墓笔记小说的抓取 创建项目: scrapy startproject books cd books scrapy genspider dmbj 编写parse方法 1 # -*- coding: utf-8 -*- 2 import scrapy 3 4 5 class 阅读全文
posted @ 2019-05-18 20:09 Ivy丶 阅读(238) 评论(0) 推荐(0)
摘要: Scrapy入门 1.安装scrapy linux环境下直接执行命令: pip install scrapy 安装完成之后直接在控制台输入:scrapy,如不报错,则安装成功 pip install scrapy 2.创建项目 scrapy startproject <project_name> 这 阅读全文
posted @ 2019-05-17 22:31 Ivy丶 阅读(159) 评论(0) 推荐(0)
摘要: Pyspider的基本使用 pyspider的任务流程: 阅读全文
posted @ 2019-05-16 06:34 Ivy丶 阅读(334) 评论(0) 推荐(0)
摘要: Pyspider pyspider的功能: 提供了方便易用的webUi系统,可视化地编写和调试爬虫 提供爬取进度监控、爬取结果查看、爬虫项目管理等功能 支持多种后端数据库,如mysql,mongodb、redis、sqllite等 支持多种消息队列,如rabbitMq,redis等 提供了优先级控制 阅读全文
posted @ 2019-05-15 23:06 Ivy丶 阅读(363) 评论(0) 推荐(0)
摘要: tornado websocket 轮询 客户端定时去请求服务端, 是客户端主动请求来促使数据更新 长轮询 客户端请求服务端,但是服务端并不是即时返回,而是当有内容更新的时候才返回内容给客户端,从流程上讲,可以理解为服务器向客户端推送内容; websocket WebSocket是通过单个TCP连接 阅读全文
posted @ 2019-05-13 23:26 Ivy丶 阅读(375) 评论(0) 推荐(0)
摘要: cookie的设置和获取 登录验证 在登录成功之后设置cookie 新建base类,重写get_current_user方法 get_current_user:当当前的cookie中有特定的值的时候,返回该值 导入authenticated方法 在需要检测时候登录的方法页面调用该函数(装饰器的方法) 阅读全文
posted @ 2019-05-10 17:21 Ivy丶 阅读(349) 评论(0) 推荐(0)
摘要: python图片拼接 这两天看到一张图片,想用python来实现类似的图片拼接 先分析图片: 很明显,这张图片是由多张图片叠加拼接而成 从最后一张开始开始叠加,之后的每张图片都往上平移了一个固定的距离并且附着在原有的图片上 我们要做的就是控制这个距离,将所有需要的图片完成这个拼接 实操: 获取所有需 阅读全文
posted @ 2019-05-09 11:17 Ivy丶 阅读(10647) 评论(0) 推荐(0)
摘要: SQLAlchemy查询 结果查询: 1 from databases.wechat import User 2 from config import session 3 4 5 def search(): 6 result = session.query(User).all() # 查询所有 7 阅读全文
posted @ 2019-05-07 12:00 Ivy丶 阅读(1957) 评论(0) 推荐(0)
摘要: tornado的ORM 安装sqlalchemy和pymysql pip install sqlalchemy pip install pymysql 连接数据库 1 from sqlalchemy import create_engine 2 3 4 5 config = { 6 'HOST': 阅读全文
posted @ 2019-05-06 23:29 Ivy丶 阅读(1171) 评论(0) 推荐(0)