03 2020 档案

20200227 scrapy框架
摘要：[toc] 昨日回顾 scrapy框架 1.介绍 Scrapy 是一个基于 Twisted 的异步处理框架，是纯 Python 实现的爬虫框架，其架构清晰，模块之间的耦合程度低，可扩展性极强，可以灵活完成各种需求。我们只需要定制开发几个模块就可以轻松实现一个爬虫。 1.1 框架的生命周期 它可以分为 阅读全文
posted @ 2020-03-11 09:33 fwzzz 阅读(348) 评论(0) 推荐(0)
20200225 爬虫-bs4使用及简单代理破解验证码
摘要：[toc] 昨日回顾 python 1 可以发送任意请求get，post，delete。。。 requests.get() requests.post() 2 携带头信息 user agent referer cookie(cookie池) requests.get(headers={}) 3 co 阅读全文
posted @ 2020-03-11 09:31 fwzzz 阅读(411) 评论(0) 推荐(0)
20200309 Linux命令
摘要：[toc] 上周回顾 linux命令 1. 网络相关 hostname ping ping静数据包发送用户指定的地址,当包被接受,目标机器发送返回数据包 ifconfig 查看用户网络配置,他显示当前网络设配配置 netstat Centos7默认不安装netstat组件，需要使用时需要自己安装。 阅读全文
posted @ 2020-03-11 09:27 fwzzz 阅读(326) 评论(0) 推荐(0)
20200304 matplotlib图表使用及金融基础知识
摘要：[toc] 昨日回顾 matplotlib jupyter中使用matplotlib的方法 介绍 Matplotlib是Python的一个2D图形库，能够生成各种格式的图形（诸如折线图，散点图，直方图等等），界面可交互（可以利用鼠标对生成图形进行点击操作），同时该2D图形库跨平台，即既可以在Pyth 阅读全文
posted @ 2020-03-11 09:26 fwzzz 阅读(567) 评论(0) 推荐(0)
20200302 数据分析之numpy以及Jupyter
摘要：[toc] 数据分析 py的就业方向 数据分析历史 数据分析的介绍 数据分析的步骤 提出需求 数据的来源 开始数据的清洗 得出结论 常见数据分析库 写代码的工具 Jupyter notebook numpy 简介 使用numpy进行数据分析 NumPy 是一个运行速度非常快的数学库，主要用于数组计算 阅读全文
posted @ 2020-03-11 09:25 fwzzz 阅读(686) 评论(0) 推荐(0)
20200228 scrapy高级使用及分布式
摘要：[toc] 昨日回顾 scrapy高级使用及分布式 1.爬虫件参数 2.提升scrapy爬取的效率 3.scrapy的中间件(下载中间件) process_exception process_request process_response 4.scrapy中使用selenium 5.去重规则 如何 阅读全文
posted @ 2020-03-11 09:24 fwzzz 阅读(402) 评论(0) 推荐(0)
20200226 请求库selenium
摘要：[toc] 昨日回顾 python 1 网页解析（html、xml） 2 把网页信息（字符串），构造成一个soup对象 3 遍历文档树（从上往下 通过 . 的方式）速度快，只能找到最近的一个 4 查找文档 （全局取搜）find find_all 返回的对象可以继续查找（tag对象） 中方式（字符串， 阅读全文
posted @ 2020-03-11 09:23 fwzzz 阅读(428) 评论(0) 推荐(0)
20200224 爬虫-requests模块
摘要：[toc] 爬虫 爬虫介绍 爬取的都是http/https的数据，移动端的数据，发送请求获取数据，并不是只有python能做爬虫（任何语言都可以做爬虫），python比较便捷，模块多，上手快，爬虫框架scrapy 3.2 而爬虫程序要做的就是： 模拟浏览器发送请求 下载网页代码 只提取有用的数据 存 阅读全文
posted @ 2020-03-11 09:22 fwzzz 阅读(333) 评论(0) 推荐(0)
0219 请求上下文解析与g对象
摘要：[toc] 请求上下文解析 简介 请求上下文 在flask 0.9版本之前，flask中只有“请求上下文”的概念。那什么是请求上下文呢？ 我们先回忆一下在写flask程序的时候，经常会碰到直接调用像current_app、request、session、g等变量。这些变量看起来似乎是全局变量，但是实 阅读全文
posted @ 2020-03-10 21:58 fwzzz 阅读(324) 评论(0) 推荐(0)
0221 SQLAlchemy
摘要：[toc] SQlAlchemy 介绍 补充 ORM 创建表 一对一表 一对多关系 多对多表 数据库操作 scoped_session 增删改查 常用操作 基于relationship的ForeignKey 基于relationship的M2M 基于scoped_session实现线程安全 其他 p 阅读全文
posted @ 2020-03-10 21:57 fwzzz 阅读(142) 评论(0) 推荐(0)
0220 session表单信号SQLAlchemy
摘要：[toc] flask session flask session是flask框架的session组件，由于原来flask内置session使用签名cookie保存，该组件则将支持session保存到多个地方，如： redis：保存数据的一种工具，五大类型。非关系型数据库 memcached fil 阅读全文
posted @ 2020-03-10 21:56 fwzzz 阅读(211) 评论(0) 推荐(0)
0217 flask框架介绍
摘要：[toc] Flask框架 1. flask 3大web框架 简介 Flask 属于微框架（micro framework）这一类别，我们可以使用Python语言快速实现一个网站或Web服务。微架构通常是很小的不依赖于外部库的框架。这既有优点也有缺点，优点是框架很轻量，更新时依赖少，缺点是你不得不自 阅读全文
posted @ 2020-03-10 21:55 fwzzz 阅读(197) 评论(0) 推荐(0)
0218 flask请求扩展与请求上下文解析
摘要：[toc] 请求扩展 1. 请求之前 是在真正的相应函数之前执行 可以有多个,执行顺序是自上而下 有返回值的before_request,之后的都不会执行(包括真正的相应函数) 2. 响应之后 在真正的响应函数之后执行的 必须接受一个 参数,且 出去 可以有多个,执行顺序为:在后面的先执行 有无返回 阅读全文
posted @ 2020-03-10 21:53 fwzzz 阅读(142) 评论(0) 推荐(0)
0212 小程序授权
摘要：[toc] 授权 部分接口需要授权才能后调用 1.获取授权状态 success 包含属性(返回布尔值) 2.授权请求 scope 需要获取权限的scope success 成功回调函数 实例 3.用户信息授权 获取授权 需要使用 进行绑定事件授权 1. ，不会弹出授权窗口，请使用 . 2. 需要授权 阅读全文
posted @ 2020-03-10 21:52 fwzzz 阅读(383) 评论(0) 推荐(0)