随笔分类 -  Flask

scrapy-redis组件
摘要:文章出处 https://www.cnblogs.com/wupeiqi/articles/6912807.html scrapy-redis是一个基于redis的scrapy组件,通过它可以快速实现简单分布式爬虫程序,该组件本质上提供了三大功能: scheduler - 调度器 dupefilte 阅读全文

posted @ 2019-10-26 11:44 情难眠2 阅读(153) 评论(0) 推荐(0)

flask信号
摘要:from blinker import Namespace from datetime import datetime from flask import request namespace = Namespace() login_signals = namespace.signal('login' 阅读全文

posted @ 2019-10-26 09:33 情难眠2 阅读(138) 评论(0) 推荐(0)

scrapy爬虫,cmd中执行日志中显示了爬取的内容,但是运行时隐藏日志后(运行命令后添加--nolog),就没有输出结果了
摘要:cmd下执行scrapy爬虫程序,不报错也没有输出,解决方案 想要执行parse能够在cmd看到parse函数的执行结果: 解决方法: settings.py 中设置 ROBOTSTXT_OBEY = False 案例: day96\day96\spiders\chouti.py # -*- cod 阅读全文

posted @ 2019-10-21 11:01 情难眠2 阅读(1150) 评论(0) 推荐(0)

scrapy,Twisted,pywin32安装
摘要:安装包链接 百度云下载 https://pan.baidu.com/s/1V191nOtEDInxd_fkyi5siQ&shfl=sharepset 在安装相关软件之前必须查看版本号信息 版本选择注意点 注意不是下载amd 64 系列,否则会报错 阅读全文

posted @ 2019-10-20 18:49 情难眠2 阅读(339) 评论(0) 推荐(0)

爬虫进阶
摘要:文章出处 https://www.cnblogs.com/wupeiqi/articles/6229292.html 性能相关 在编写爬虫时,性能的消耗主要在IO请求中,当单进程单线程模式下请求URL时必然会引起等待,从而使得请求整体变慢。 import requests def fetch_asy 阅读全文

posted @ 2019-10-20 11:38 情难眠2 阅读(153) 评论(0) 推荐(0)

WTForms
摘要:文章出处 https://www.cnblogs.com/wupeiqi/articles/8202357.html 简介 WTForms是一个支持多个web框架的form组件,主要用于对用户请求数据进行验证。 安装: ? 1 pip3 install wtforms ? 1 pip3 instal 阅读全文

posted @ 2019-10-09 10:15 情难眠2 阅读(118) 评论(0) 推荐(0)

flask 源码解析:上下文(一)
摘要:文章出处 https://www.cnblogs.com/jackchengcc/archive/2018/11/29/10025949.html 一:什么是上下文 每一段程序都有很多外部变量。只有像Add这种简单的函数才是没有外部变量的。一旦你的一段程序有了外部变量,这段程序就不完整,不能独立运行 阅读全文

posted @ 2019-10-08 18:21 情难眠2 阅读(114) 评论(0) 推荐(0)

Python操作MySQL
摘要:文章出处 https://www.cnblogs.com/wupeiqi/articles/5713330.html 本篇对于Python操作MySQL主要使用两种方式: 原生模块 pymsql ORM框架 SQLAchemy pymsql pymsql是Python中操作MySQL的模块,其使用方 阅读全文

posted @ 2019-10-03 11:13 情难眠2 阅读(348) 评论(0) 推荐(0)

Flask
摘要:Flask是一个基于Python开发并且依赖jinja2模板和Werkzeug WSGI服务的一个微型框架,对于Werkzeug本质是Socket服务端,其用于接收http请求并对请求进行预处理,然后触发Flask框架,开发人员基于Flask框架提供的功能对请求进行相应的处理,并返回给用户,如果要返 阅读全文

posted @ 2019-09-26 12:27 情难眠2 阅读(124) 评论(0) 推荐(0)

导航