05 2019 档案
摘要：MVC框架和MTV框架 MVC，全名是Model View Controller，是软件工程中的一种软件架构模式，把软件系统分为三个基本部分：模型(Model)、视图(View)和控制器(Controller)，具有耦合性低、重用性高、生命周期成本低等优点。 想要更详细的了解MVC模式? >> 点我
阅读全文
摘要：一、安装（安装最新LTS版）： 1.命令行安装 2.pycharm 安装 二、创建项目 1、命令行创建 下面的命令创建了一个名为"mysite"的Django 项目： 2、pycharm创建 目录介绍： 运行Django项目 1.命令行： 切换到项目目录下： manage.py python
阅读全文
摘要：单例模式 单例模式（Singleton Pattern）是一种常用的软件设计模式，该模式的主要目的是确保某一个类只有一个实例存在。当你希望在整个系统中，某个类只能出现一个实例时，单例对象就能派上用场。 比如，某个服务器程序的配置信息存放在一个文件中，客户端通过一个 AppConfig 的类来读取配置
阅读全文
摘要：队列 - 概念：队列是项的有序结合，其中添加新项的一端称为队尾，移除项的一端称为队首。当一个元素从队尾进入队列时，一直向队首移动，直到它成为下一个需要移除的元素为止。最近添加的元素必须在队尾等待。集合中存活时间最长的元素在队首，这种排序成为 FIFO，先进先出，也被成为先到先得。 - 案例：队列的最
阅读全文
摘要：线性数据结构 - 我们从四个简单但重要的概念开始研究数据结构。栈，队列，deques（双向队列）, 列表是一类数据的容器，它们数据元素之间的顺序由添加或删除的顺序决定。一旦一个数据元素被添加，它相对于前后元素一直保持该位置不变。诸如此类的数据结构被称为线性数据结构。 - 线性数据结构有两端，有时被称
阅读全文
摘要：什么是计算机科学? 首先明确的一点就是计算机科学不仅仅是对计算机的研究，虽然计算机在科学发展的过程中发挥了重大的作用，但是它只是一个工具，一个没有灵魂的工具而已。所谓的计算机科学实际上是对问题、解决问题以及解决问题的过程中产生产生的解决方案的研究。例如给定一个问题，计算机科学家的目标是开发一个算法来
阅读全文
摘要：redis主从同步 原理：1. 从服务器向主服务器发送 SYNC 命令。2. 接到 SYNC 命令的主服务器会调用BGSAVE 命令，创建一个 RDB 文件，并使用缓冲区记录接下来执行的所有写命令。3. 当主服务器执行完 BGSAVE 命令时，它会向从服务器发送 RDB 文件，而从服务器则会接收并载
阅读全文
摘要：确保redis版本在2.2以上 本文在redis4.0中，通过config set命令，达到不重启redis服务，从RDB持久化切换为AOF 实验环境准备 redis.conf服务端配置文件 启动redis服务端 登录redis-cli插入数据，手动持久化 检查RDB文件 备份这个rdb文件，保证数
阅读全文
摘要：概念 redis持久化： Redis是一种内存型数据库，一旦服务器进程退出，数据库的数据就会丢失，为了解决这个问题，Redis提供了两种持久化的方案，将内存中的数据保存到磁盘中，避免数据的丢失。 RDB持久化存储 redis提供了RDB持久化的功能，这个功能可以将redis在内存中的的状态保存到硬盘
阅读全文
摘要：发布publish 订阅subscribe Redis 通过 PUBLISH 、 SUBSCRIBE 等命令实现了订阅与发布模式。 举例1：qq群的公告，单个发布者，多个收听者 发布/订阅 实验 发布订阅的命令 发布订阅实测： 一个发布方，两个订阅方 发布方： 一个订阅方： 另外一个订阅方： 一个发
阅读全文
摘要：redis 是一个开源（BSD许可）的，内存中的数据结构存储系统，它可以用作数据库，缓存和消息中间件 高速缓存介绍 高速缓存利用内存保存数据，读写速度远超硬盘 高速缓存可以减少 I/O 操作，降低 I/O 压力 Redis是Vmware开发的开源免费的KV型NoSQL缓存产品 Redis具有很好的性
阅读全文
摘要：读写分离 其基本原理就是让主数据库处理事务性增,改,删操作(INSERT,UPDATE,DELETE)操作,而从数据库处理SELECT查询操作,数据库复制被用来把事物性操作导致的变更同步到其他从数据库,以SQL为例,主数据库负责写数据,读数据,读库仅负责读数据,每次有写库操作,同步更新到读库,写库就
阅读全文
摘要：一、获取远程库信息 二、克隆远程库 三、提交代码 四、解决冲突
阅读全文
摘要：分支管理 一、分支推进 主分支 单线分支，随着代码的提交而形成的一条直线，HEAD 随着commit提交之后的节点移动而移动。 子分支 当切换到子分支的时候，HEAD 则指向子分支的节点。 在子分支上commit提交，则子分支到下一个节点，主分支不变。 切换到主分支上，HEAD 则指向主分支。 当主
阅读全文
摘要：Git使用指南 配置全局信息 用户信息配置 创建初始仓库 创建一个版本库文件夹 md F:\\learngit 初始化仓库 $ cd f:/learngit $ git init $ touch readme.txt 常用命令 查看状态 git status 添加文件到仓库 git add file
阅读全文
摘要：Git的简单介绍 Git是一个开源的分布式版本控制系统,可以有效,高速的处理从很小到非常大的项目管理,GIT是为了帮助linux内核开发而开发的一个开放源码的版本控制软件 Git的安装 Linux平台上的安装 Git 的工作需要调用 curl，zlib，openssl，expat，libiconv
阅读全文
摘要：数据解析的原理 1.实现标签的定位 2.将标签中的存储的文本内容或者相关的属性值进行提取 正则 爬虫练习之爬取糗事百科 BS4 环境安装 1.pip install BS4 2.pip install lxml 解析原理 实例化一个BeautifulSoup对象，必须把即将被解析的页面源码加载到该对
阅读全文
摘要：简介 selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题 selenium本质是通过驱动浏览器，完全模拟浏览器的操作，比如跳转、输入、点击、下拉等，来拿到网页渲染之后的结果，可支持多种浏览器 作用： 可以让浏览器完成相关自
阅读全文
摘要：在我们爬取网页的时候,可能会遇到乱码的问题,解决这种的乱码的问题有一种通用的方法
阅读全文
摘要：三种方式: 1.多进程多线程(不建议) 2.进程池或者线程池(适当) 3.单线程+异步协程(推荐) 多进程多线程 占用cpu资源,不建议使用 基于线程池的异步爬虫 结果: 单线程+异步协程 基本使用 task的使用 future的使用 绑定回调 多任务异步协程 执行结果: 结果发现,并没有实现异步,
阅读全文
摘要：scrapy框架 框架 -具有很多功能且具有很强通用性的一个项目模板 环境安装: 创建一个工程 scrapy startprobject proName cd proName 创建爬虫文件: scrapy genspider spiderName www.xxx.com 执行工程:
阅读全文
摘要：当requests发送请求成功后，requests就会得到返回值，如果服务器响应正常，就会接收到响应数据； Response响应中的属性和方法 常用属性： status_code: 数据类型：int 作用：返回HTTP响应的状态码：200、404、500、等 reason: 数据类型：str 作用：
阅读全文
摘要：最近在学习胡阳老师（the5fire）的《Django企业级开发实战》，想要使用pycharm创建django项目时，在使用virtualenv创建虚拟环境后，在pycharm内，无论如何都无法导入正确的环境。通常是提示 django is not importable in this enviro
阅读全文
浙公网安备 33010602011771号