09 2018 档案
摘要:1.Selenium模块介绍 该模块最初是一个自动化测试模块,而在爬虫中使用它是为了解决requests无法直接执行JavaScript代码的问题 本质是驱动浏览器,完全模拟浏览器的操作,如跳转、输入、点击、下拉等 selenium支持的多种浏览器: from selenium import web
阅读全文
摘要:1.BeautifulSoup (以 Python 风格的方式来对 HTML 或 XML 进行迭代,搜索和修改) 1.1 介绍 Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱,通过解析文档为用户提供需要抓取的数据,因为简单,所以不
阅读全文
摘要:1.爬虫介绍 1.1 什么是爬虫 互联网最有价值的就是资源,爬虫要做的就是爬取资源,比如链家网的租房信息,拉勾网的求职信息,岛国的资源等等 1.2 爬虫流程 发送请求 >获取响应 >爬取资源(下载资源) >解析数据 >数据持久化(mongodb数据库,redis数据库) 请求模块:requests模
阅读全文
摘要:1. SQLAlchemy介绍 SQLAlchemy是一个基于Python实现的ORM框架,能满足大多数数据库操作需求,同时支持多种数据库引擎(SQLite,MySQL,Postgresql,Oracle等) SQLAlchemy组件中最有名的是它的对象关系映射器(ORM) ORM 将数据库中的表与
阅读全文
摘要:1.所需软件说明 百度云下载链接: https://pan.baidu.com/s/1-TEQZP9QbJSlGSYedyAUFw 密码: 2z8l 或者官方链接: Hbuilder:http://www.dcloud.io/ 夜神模拟器:https://www.yeshen.com/ 1.1 Hb
阅读全文
摘要:1.MongoDB介绍 MongoDB是一个著名的NoSQL数据库,即非关系型数据库(没有外键,我们之前介绍的redis也属于非关系型数据库) MongoDB 将数据存储为一个文档,数据结构由键值(key=>value)对组成。MongoDB 文档类似于 JSON 对象 MongoDB是文件型数据库
阅读全文
摘要:1.mysql数据库连接池 概念:数据库连接池(Connection pooling)是程序启动时建立足够的数据库连接,并将这些连接组成一个连接池,由程序动态地对池中的连接进行申请,使用,释放。 这样集中管理,供程序使用可以保证较快的数据读写速度,而且不用来回创建数据库连接,节省了时间,也更加的安全
阅读全文
摘要:1.概念 蓝图可以使我们的程序更加模块化,不同功能的路由可以放在不同的模块下,最后集中到启动类中 它的作用就是将功能和主服务分开,类似django中我们创建的每一个app 2.蓝图常见架构方式 2.1 功能式架构 按照每部分的功能来组织应用,模板放在同一文件夹,视图存放同一文件夹 视图文件中的除了_
阅读全文
摘要:1.模板语言jinja2 Flask中默认的模板语言是Jinja2 1.0 模板传参 index.html 效果 1.1 从后端传HTML标签 # 常规做法,前端引入safe login.html app.py # 引入Markup,它的作用在HTML的标签上做一层封装,让Jinja2模板语言知道这
阅读全文
摘要:1.flask介绍 Flask是Python编写的一款轻量级Web应用框架。其 WSGI 工具箱采用 Werkzeug ,模板引擎则使用 Jinja2。 Flask使用 BSD 授权。其中两个环境依赖是Werkzeug和jinja2,这意味着它不需要依赖外部库,正因如此,我们将其称为轻量级框架。 W
阅读全文

浙公网安备 33010602011771号