small_caier

摘要： 一.爬虫数据解析的流程 1.指定url 2.基于requests模块发起请求 3.获取响应中的数据 4.数据解析 5.进行持久化存储 二.解析方法 (1)正则解析 (2)bs4解析 (3)xpath解析 1. 正则解析 常用正则表达式 正则使用练习: 应用: 爬取糗事百科指定页面的糗图，并将其保存到 阅读全文

摘要： 一. urllib库 urllib是Python自带的一个用于爬虫的库,其主要作用就是可以通过代码模拟浏览器发送请求。其常被用到的子模块在Python3中的为urllib.request和urllib.parse，在Python2中就是urllib和urllib2。 二.requests库 - 安装 阅读全文

摘要： 爬虫的分类 1.通用爬虫：通用爬虫是搜索引擎（Baidu、Google、Yahoo等）“抓取系统”的重要组成部分。主要目的是将互联网上的网页下载到本地，形成一个互联网内容的镜像备份。 简单来讲就是尽可能的；把互联网上的所有的网页下载下来，放到本地服务器里形成备分，在对这些网页做相关处理(提取关键字、 阅读全文

摘要： 一、什么是Jupyter Notebook？ 1. 简介 Jupyter Notebook是基于网页的用于交互计算的应用程序。其可被应用于全过程计算：开发、文档编写、运行代码和展示结果。——Jupyter Notebook官方介绍 简而言之，Jupyter Notebook是以网页的形式打开，可以在 阅读全文

摘要： 一.HTTP协议 1.概念: Http协议就是服务器(Server)和客户端(Client)之间进行数据交互(相互传输数据)的一种形式。 之间形成的特殊行话（黑话：（土匪）天王盖地虎，（我）宝塔镇河妖）称为协议。 2.Http工作原理： Http协议工作于客户端-服务端架构上。浏览器作为Http客户 阅读全文

摘要： 恢复内容开始 一 锁 行级锁 select_for_update(nowait=False,skip_locked=False) #注意必须用在事务里面,至于如何开启事务,往后看 返回一个锁住行知道事务结束的查询集,如果数据库支持,它将生成一个select ... for update语句. 举个例 阅读全文

摘要： 恢复内容开始 第一步:确保setting中的INSTALL_APPS配置当前的app,要不然Django无法找到自定义的simple_tag. 第二步:在app中创建templatetags模块(模块名只能是templatetags) 第三步:创建任意的.py文件 比如:my_tags.py 第四步 阅读全文

摘要： js,css,img等都叫做静态文件,那么关于django中静态文件的配置,我们就需要在setting配置文件里面写上下面这些内容: 目录: 别名也是一种安全机制,浏览器上通过调试台你能够看到的是别名的名字,这样别人就不能知道你静态文件夹的名字了,不然别人就能通过这个文件夹路径进行攻击. 前端页面引 阅读全文

摘要： 一 创建模型 表和表之间的关系 一对一、多对一、多对多　，用book表和publish表自己来想想关系，想想里面的操作，加外键约束和不加外键约束的区别，一对一的外键约束是在一对多的约束上加上唯一约束。 实例：我们来假定下面这些概念，字段和关系 作者模型：一个作者有姓名和年龄。 作者详细模型：把作者的 阅读全文

摘要： 一 ORM简介 MVC或者MVC框架中包括一个重要的部分，就是ORM，它实现了数据模型与数据库的解耦，即数据模型的设计不需要依赖于特定的数据库，通过简单的配置就可以轻松更换数据库，这极大的减轻了开发人员的工作量，不需要面对因数据库变更而导致的无效劳动 ORM是“对象-关系-映射”的简称。（Objec 阅读全文