摘要:文章出处 https://www.cnblogs.com/wupeiqi/articles/6912807.html scrapy-redis是一个基于redis的scrapy组件,通过它可以快速实现简单分布式爬虫程序,该组件本质上提供了三大功能: scheduler - 调度器 dupefilte
阅读全文
摘要:from blinker import Namespace from datetime import datetime from flask import request namespace = Namespace() login_signals = namespace.signal('login'
阅读全文
摘要:cmd下执行scrapy爬虫程序,不报错也没有输出,解决方案 想要执行parse能够在cmd看到parse函数的执行结果: 解决方法: settings.py 中设置 ROBOTSTXT_OBEY = False 案例: day96\day96\spiders\chouti.py # -*- cod
阅读全文
摘要:安装包链接 百度云下载 https://pan.baidu.com/s/1V191nOtEDInxd_fkyi5siQ&shfl=sharepset 在安装相关软件之前必须查看版本号信息 版本选择注意点 注意不是下载amd 64 系列,否则会报错
阅读全文
摘要:文章出处 https://www.cnblogs.com/wupeiqi/articles/6229292.html 性能相关 在编写爬虫时,性能的消耗主要在IO请求中,当单进程单线程模式下请求URL时必然会引起等待,从而使得请求整体变慢。 import requests def fetch_asy
阅读全文
摘要:文章出处 https://www.cnblogs.com/wupeiqi/articles/8202357.html 简介 WTForms是一个支持多个web框架的form组件,主要用于对用户请求数据进行验证。 安装: ? 1 pip3 install wtforms ? 1 pip3 instal
阅读全文
摘要:文章出处 https://www.cnblogs.com/jackchengcc/archive/2018/11/29/10025949.html 一:什么是上下文 每一段程序都有很多外部变量。只有像Add这种简单的函数才是没有外部变量的。一旦你的一段程序有了外部变量,这段程序就不完整,不能独立运行
阅读全文
摘要:文章出处 https://www.cnblogs.com/wupeiqi/articles/5713330.html 本篇对于Python操作MySQL主要使用两种方式: 原生模块 pymsql ORM框架 SQLAchemy pymsql pymsql是Python中操作MySQL的模块,其使用方
阅读全文
摘要:Flask是一个基于Python开发并且依赖jinja2模板和Werkzeug WSGI服务的一个微型框架,对于Werkzeug本质是Socket服务端,其用于接收http请求并对请求进行预处理,然后触发Flask框架,开发人员基于Flask框架提供的功能对请求进行相应的处理,并返回给用户,如果要返
阅读全文