摘要：
全站爬取cnblogs数据 深度优先 和 广度优先 cnblogs.py items.py pipelines.py python import pymysql class MysqlArticlePipeline(object): def open_spider(self,spider): sel 阅读全文
posted @ 2020-03-01 21:43
风啊风啊
阅读(330)
评论(0)
推荐(0)
摘要：
scrapy介绍，架构介绍（框架）ghref scrapy就是爬虫界的django 爬虫框架，别人写好的代码，以后只需要在指定位置写指定代码即可 基于twisted：性能很高 五大组件 引擎：大总管，总的控制数据流动 调度器：去重，加入队列 下载器 ：负责下载，加载数据 爬虫：主要写这，解析resp 阅读全文
posted @ 2020-03-01 21:42
风啊风啊
阅读(199)
评论(0)
推荐(0)
摘要：
爬虫的流程 分布式爬虫 》redis（blpop/brpop:列表，阻塞队列) 集群和分布式：以前都是单实例的项目 集群化的部署：一个项目部署在多台机器上 分布式（微服务）：一个项目拆成多个部分，放到不同的服务器上，每个项目单独开发，单独上线 1 爬取汽车之家新闻（requests+bs4) 总结： 阅读全文
posted @ 2020-03-01 21:40
风啊风啊
阅读(138)
评论(0)
推荐(0)
摘要：
爬虫 1 爬虫介绍 1.1 爬取流程 爬取的都是http/https的数据，移动端的数据，发送请求获取数据，但并不是只有python能做爬虫（任何语言都可以做爬虫），python比较便捷，上手快，爬虫框架scrapy 发送http请求（request模块） 》服务器返回数据（咱们要爬取的网站） 》拿 阅读全文
posted @ 2020-03-01 21:39
风啊风啊
阅读(174)
评论(0)
推荐(0)
摘要：
对数据库表的增 models.py 增.py secop线程安全 secop线程安全.py 单表的增删改查 单表的高级查询 一对多 models.py 一对多.py 多对多 models.py 多对多.py pro_flask_sansa pip install flask sqlalchemy p 阅读全文
posted @ 2020-03-01 21:37
风啊风啊
阅读(168)
评论(0)
推荐(0)
摘要：
flask session flask session的第一种用法 flask session的第二种用法 表单验证 wtforms 简单用法 login.html 全面用法 register.html 信号 Flask框架中信号基于blinker,其主要就是让开发者在flask请求过程中定制一些用 阅读全文
posted @ 2020-03-01 21:36
风啊风啊
阅读(195)
评论(0)
推荐(0)
摘要：
请求上下文总结分析 g对象 flask script 阅读全文
posted @ 2020-03-01 21:34
风啊风啊
阅读(156)
评论(0)
推荐(0)
摘要：
请求扩展 index.html index404.html 中间件 偏函数 将所作用的函数作为partial（）函数的第一个参数，原函数的各个参数依次作为partial（）函数的后续参数，原函数有关键字参数的一定要带上关键字，没有的话，按原有参数顺序进行补充。 简单总结functools.parti 阅读全文
posted @ 2020-03-01 21:33
风啊风啊
阅读(174)
评论(0)
推荐(0)
摘要：
flask 小猿取经：https://www.cnblogs.com/xiaoyuanqujing/protected/articles/11715484.html flask与django的区别 1 django：是一个同步框架，orm，模板都是自己写的，如果要快速开发一个比较大的项目就用djan 阅读全文
posted @ 2020-03-01 21:32
风啊风啊
阅读(230)
评论(0)
推荐(0)
摘要：
事务中隔离级别带来的问题 read uncommitted 不做任何隔离，具有脏读，不可重复读，幻读等问题 read committed 可以防止脏读，不能防止不可重复读，幻读等问题 repeatable read 可以防止脏读，不可重复读，不能防止幻读（mysql默认的隔离级别） serializ 阅读全文
posted @ 2020-03-01 21:30
风啊风啊
阅读(142)
评论(0)
推荐(0)
摘要：
无限极分类 comment\func views User Banner Goods Category my_ser Banner_ser Category_ser Goods_ser 阅读全文
posted @ 2020-03-01 21:29
风啊风啊
阅读(200)
评论(0)
推荐(0)
摘要：
出用户信息以外的授权 地址：https://developers.weixin.qq.com/miniprogram/dev/framework/open ability/authorize.html test.wxml test.js 用户信息授权 地址：https://developers.we 阅读全文
posted @ 2020-03-01 21:25
风啊风啊
阅读(254)
评论(0)
推荐(0)
摘要：
自定义组件 在根目录上创建文件夹：components mycom 新建compontent mycom.json mycom.wxml mycom.js 应用组件 pages\test\test.json pages\test\test.wxml 组件将事件传给页面 mycom.wxml myco 阅读全文
posted @ 2020-03-01 21:24
风啊风啊
阅读(142)
评论(0)
推荐(0)
摘要：
小程序介绍 微信小程序是腾讯于2017年1月9日推出的一种不需要下载安装即可在微信平台上使用的应用，主要提供给企业、政府、媒体、其他组织或个人的开发者在微信平台上提供服务。 微信小程序和微信的原生功能应用在本质上是一样的——他们都是Web App。Web App就是一种通过H5页面技术实现的 阅读全文
posted @ 2020-03-01 21:23
风啊风啊
阅读(213)
评论(0)
推荐(0)
浙公网安备 33010602011771号