05 2019 档案
摘要：数据库的安装和连接 PyMySQL的安装 python连接数据库 import pymysql conn = pymysql.connect( host='localhost', user='root', password="root", database='db', port=3306, char
阅读全文
摘要：用于便捷记录日志且线程安全的模块 1、单文件日志 日志等级： 注：只有【当前写等级】大于【日志等级】时，日志文件才被记录。 日志记录格式： 2、多文件日志 对于上述记录日志的功能，只能将日志记录在单文件中，如果想要设置多个日志文件，logging.basicConfig将无法完成，需要自定义文件和日
阅读全文
摘要：单例模式 单例模式（Singleton Pattern）是一种常用的软件设计模式，该模式的主要目的是确保某一个类只有一个实例存在。当你希望在整个系统中，某个类只能出现一个实例时，单例对象就能派上用场。 比如，某个服务器程序的配置信息存放在一个文件中，客户端通过一个 AppConfig 的类来读取配置
阅读全文
摘要：对于我这种习惯了 Java 这种编译型语言，在使用 Python 这种动态语言的时候，发现错误经常只能在执行的时候发现，总感觉有点不放心。 而且有一些错误由于隐藏的比较深，只有特定逻辑才会触发，往往导致需要花很多时间才能将语法错误慢慢排查出来。其实有一些错误是很明显的，假如能在写程序的时候发现这些错
阅读全文
摘要：阅读目录 概览 插入数据 更新数据 删除数据 查询数据 概览 MySQL数据操作： DML 在MySQL管理软件中，可以通过SQL语句中的DML语言来实现数据的操作，包括 插入数据insert 更新数据update 删除数据delete 查询数据 search(单表/多表查询) 1.单表查询 单表查
阅读全文
摘要：准备 建表与数据准备 #建表 create table department( id int, name varchar(20) ); create table employee( id int primary key auto_increment, name varchar(20), sex en
阅读全文
摘要：单表查询的语法及关键字执行的优先级 单表查询语法 关键字执行的优先级 1.找到表:from 2.拿着where指定的约束条件，去文件/表中取出一条条记录 3.将取出的一条条记录进行分组group by，如果没有group by，则整体作为一组 4.执行select（去重） 5.将分组的结果进行hav
阅读全文
摘要：阅读目录 目录: not noll unique primary key foreign key 概览 为了防止不符合规范的数据进入数据库，在用户对数据进行插入、修改、删除等操作时，DBMS自动按照一定的约束条件对数据进行监测，使不符合规范的数据不能进入数据库，以确保数据库中存储的数据正确、有效、相
阅读全文
摘要：阅读目录 1.数值类型 2.日期时间类型 3.字符串类型 4.ENUM和SET类型 数值类型 MySQL支持所有标准SQL数值数据类型。 这些类型包括严格数值数据类型(INTEGER、SMALLINT、DECIMAL和NUMERIC)，以及近似数值数据类型(FLOAT、REAL和DOUBLE PRE
阅读全文
摘要：表结构的介绍 # 1.创建表的具体的语法是什么 每一个词都代表了什么意思? # create table staff_info( # id int unsigned, # name varchar(11), # age int, # sex enum('male','female'), # phon
阅读全文
摘要：Flask是使用python写的一个简单轻量级的框架,今天我们使用Flask实现一个简单的单聊和群聊功能 . 主要思路 : 前端登录聊天室,聊天室信息包含用户的登录信息,相当于一个登录功能,会把这个信息记录在url中发送给后端,后端会把登录信息作为识别用户的标志,url中的信息会作为key值存在一个
阅读全文
摘要：什么是存储引擎 mysql支持的引擎 mysql5.6支持的存储引擎包括InnoDB、MyISAM、MEMORY、CSV、BLACKHOLE、FEDERATED、MRG_MYISAM、ARCHIVE、PERFORMANCE_SCHEMA.其中NDB和innoDB提供事务安全表,其他存储引擎都是非事务
阅读全文
摘要：MySql中添加用户,新建数据库,用户授权,删除用户,修改密码(注意每行后边都跟个;表示一个命令语句结束): 1.新建用户 1.1 登录MYSQL： @>mysql -u root -p @>密码 1.2 创建用户： mysql> insert into mysql.user(Host,User,P
阅读全文
摘要：第一节.万恶之源-python基础 python的创始⼈人为吉多·范罗苏姆（Guido van Rossum）。1989年年的圣诞节期间，吉多· 范罗苏姆为了了在阿姆斯特丹丹打发时间，决⼼心开发⼀一个新的脚本解释程序，作为ABC语⾔言的⼀一 种继承。 新的TIOBE排⾏行行榜，Python已经占据世
阅读全文
摘要：下载 第一步：打开网址，https://www.mysql.com，点击downloads之后跳转到https://www.mysql.com/downloads 第二步 ：跳转至网址https://dev.mysql.com/downloads/，选择Community选项 第三步 ：点击MySQ
阅读全文
摘要：安装 第一步：打开网址，https://www.mysql.com，点击downloads之后跳转到https://www.mysql.com/downloads/选择Community选项 第二步： 第一步结束后程序会跳转到https://dev.mysql.com/downloads/网址，点击
阅读全文
摘要：环境和资源地址 *** centos 7 *** http://repo.mysql.com/yum/mysql-5.6-community/ 安装 安装方式一（在线安装）： # 查看和mysql有关的安装包yum search mysql # 安装mysql社区版本yum源 yum -y inst
阅读全文
摘要：为什么会有数据库 例如: 在购票的时候,很定有很多的人在买票,所以程序不可能在一台电脑机器上边,应该由多台的机器分担用户的购票请求 这是时候就会有一个问题,这就是,票务信息的数据存放在哪里? 存在文件的话,那么就会出现将这份数据存放在哪台机器上边,是每台的机器上都会存储一份吗? 首先是在其中的一台的
阅读全文
摘要：列表查询 """要求：从列表中查询指定元素输入：列表，待查询元素输出：元素下标或未查找到元素方法： 1. 顺序查找 2. 二分查找(列表为升序)""" # 顺序查找 def linear_search(data_set, value): for i in range(len(data_set)):
阅读全文
摘要：做参考使用 1.因为本地的项目是别人从stash上git clone下来的，楼主今天推代码到远程仓库的时候，一直显示是别人的地址 做参考使用 1.因为本地的项目是别人从stash上git clone下来的，楼主今天推代码到远程仓库的时候，一直显示是别人的地址 做参考使用 1.因为本地的项目是别人从s
阅读全文
摘要：$ git push origin 上面命令表示，将当前分支推送到origin主机的对应分支。 如果当前分支只有一个追踪分支，那么主机名都可以省略。 $ git push 如果当前分支与多个主机存在追踪关系，那么这个时候-u选项会指定一个默认主机，这样后面就可以不加任何参数使用git push。 $
阅读全文
摘要：error http://blog.csdn.net/dengjianqiang2011/article/details/9260435 如果输入$ Git remote add origin git@github.com:djqiang（github帐号名）/gitdemo（项目名）.git 提示
阅读全文
摘要：需求:一个功能只开发一半,突然线上有bug需要修复 开发过的功能肯定不会要删除,同时也不会上线 这时需要进行快照 git stash 进行快照 这是可以进行在线上进行修复bug然后进行commit -m 'bug已经修复' 然后在回到之前开发功能的位置,要进行一下的操作 git add . 将修改后
阅读全文
摘要：打标签 像其他版本控制系统（VCS）一样，Git 可以给历史中的某一个提交打上标签，以示重要。 比较有代表性的是人们会使用这个功能来标记发布结点（v1.0 等等）。 在本节中，你将会学习如何列出已有的标签、如何创建新标签、以及不同类型的标签分别是什么。 列出标签 在 Git 中列出已有的标签是非常简
阅读全文
摘要：有些时候，你必须把某些文件放到Git工作目录中，但又不能提交它们，比如保存了数据库密码的配置文件啦，等等，每次git status都会显示Untracked files ...，有强迫症的童鞋心里肯定不爽。 好在Git考虑到了大家的感受，这个问题解决起来也很简单，在Git工作区的根目录下创建一个特殊
阅读全文
摘要：克隆仓库的命令格式是 git clone [url] 。 比如，要克隆 Git 的可链接库 libgit2，可以用下面的命令： 这会在当前目录下创建一个名为 “libgit2” 的目录，并在这个目录下初始化一个 .git 文件夹，从远程仓库拉取下所有数据放入 .git 文件夹，然后从中读取最新版本的
阅读全文
摘要：有人把 Git 的分支模型称为它的`‘必杀技特性’'，也正因为这一特性，使得 Git 从众多版本控制系统中脱颖而出。 为何 Git 的分支模型如此出众呢？ Git 处理分支的方式可谓是难以置信的轻量，创建新分支这一操作几乎能在瞬间完成，并且在不同分支之间的切换操作也是一样便捷。 与许多其它版本控制系
阅读全文
摘要：git 再开始这个话题之前,让我想起了一件很痛苦的事情,在我大学写毕业论文的时候,我当时的文件是这样保存的 这个时候,我们会重复的提交给导师,导师也会帮我们修改毕业论文,我自己这里的还好说,那么如果是导师再给我返回回来的文件,我就要想想,我是什么时候提交给导师的,我要把我后面写的东西跟导师写
阅读全文
摘要：ansible 与salt对比 相同 都是为了同时在多台机器上执行相同的命令 都是python开发 不同 agent（saltstack需要安装、ansible不需要） 配置（salt配置麻烦，ansible基本不用配置） 学习路线（salt比较陡峭，ansible比较平缓） 第三方工具（salt比
阅读全文
摘要：接下来就是Git的怎样来管理一个本地的仓库 第一步 git init. 初始化(在这个位置就是一个工作区) 在这步操作后会生成一个.git的文件 git status 是用于查看文件的状态 git add . 将所有文件添加到暂存区, git add 文件的名字 指定哪一个文件进行添加到暂存区 gi
阅读全文
摘要：第一步安装git 第二步 使用的是UseVim(the ubiquitous text edtor) as Gits default edtor最主要的就是这一步要注意一下 第三步 选择Git from the command line and slso from 3rd-party softwar
阅读全文
摘要：git - 简明指南 git - 简明指南 安装 下载 git OSX 版 下载 git Windows 版 下载 git Linux 版 安装 下载 git OSX 版 下载 git Windows 版 下载 git Linux 版 创建新仓库 创建新文件夹，打开，然后执行 git init以创建
阅读全文
摘要：将本地的从其他git仓库上clone下来的代码上传push到一个新的远程git仓库中的方法 将本地的从其他git仓库上clone下来的代码上传push到一个新的远程git仓库中的方法 将本地的从其他git仓库上clone下来的代码上传push到一个新的远程git仓库中的方法 将本地的从其他git仓库
阅读全文
摘要：到目前为止，我们已经掌握了如何在Git仓库里对一个文件进行时光穿梭，你再也不用担心文件备份或者丢失的问题了。 可是有用过集中式版本控制系统SVN的童鞋会站出来说，这些功能在SVN里早就有了，没看出Git有什么特别的地方。 没错，如果只是在一个仓库里管理文件历史，Git和SVN真没啥区别。为了保证你现
阅读全文
摘要：爬虫是一种模拟浏览器对网站发起请求，获取数据的方法。简单的爬虫在抓取网站数据的时候，因为对网站访问过于频繁，给服务器造成过大的压力，容易使网站崩溃，因此网站维护者会通过一些手段避免爬虫的访问，以下是几种常见的反爬虫和反反爬虫策略： 关于网站动态加载的方法，还能一种反反爬虫的方法：找到其api的接口，
阅读全文
摘要：python实现二叉树的数据结构： . 二叉树的排序方式： - 广度遍历（层次遍历） - 深度遍历： - 前序（根左右）：把根放到最前面 - 中序（左根右）：把根放到中间 - 后序（左右根）：把根放到最后 python实现排序二叉树：
阅读全文
摘要：查找/搜索 - 我们现在把注意力转向计算中经常出现的一些问题，即搜索或查找的问题。搜索是在元素集合中查找特定元素的算法过程。搜索通常对于元素是否存在返回 True 或 False。有时它可能返回元素被找到的地方。我们在这里将仅关注成员是否存在这个问题。 - 在 Python 中，有一个非常简单的方法
阅读全文
摘要：- 回文检测：设计程序，检测一个字符串是否为回文。 - 回文：回文是一个字符串，读取首尾相同的字符，例如，radar toot madam。 - 分析：该问题的解决方案将使用 deque 来存储字符串的字符。我们从左到右处理字符串，并将每个字符添加到 deque 的尾部。在这一点上，deque 像一
阅读全文
摘要：内存 - 计算机的作用：对数据进行存储和运算。首先我们需要知道我们目前使用的计算机都是二进制的计算机，就以为着计算机只可以存储和运算二进制的数据。例如下载好的一部电影，该电影可以存储到计算机中，计算机中存储的是基于二进制的电影数据，然后我们可以通过相关的视频播放软件结合相关的硬件对电影的二进制数据进
阅读全文
摘要：一.双端队列（Deque） - 概念：deque（也称为双端队列）是与队列类似的项的有序集合。它有两个端部，首部和尾部，并且项在集合中保持不变。 - 特性：deque 特殊之处在于添加和删除项是非限制性的。可以在前面或后面添加新项。同样，可以从任一端移除现有项。在某种意义上，这种混合线性结构提供了单
阅读全文
摘要：烫手山芋游戏介绍：6个孩子围城一个圈，排列顺序孩子们自己指定。第一个孩子手里有一个烫手的山芋，需要在计时器计时1秒后将山芋传递给下一个孩子，依次类推。规则是，在计时器每计时7秒时，手里有山芋的孩子退出游戏。该游戏直到剩下一个孩子时结束，最后剩下的孩子获胜。请使用队列实现该游戏策略，排在第几个位置最终
阅读全文
摘要：一.队列 - 概念：队列是项的有序结合，其中添加新项的一端称为队尾，移除项的一端称为队首。当一个元素从队尾进入队列时，一直向队首移动，直到它成为下一个需要移除的元素为止。最近添加的元素必须在队尾等待。集合中存活时间最长的元素在队首，这种排序成为 FIFO，先进先出，也被成为先到先得。 - 案例：队列
阅读全文
摘要：一.线性数据结构 - 我们从四个简单但重要的概念开始研究数据结构。栈，队列，deques（双向队列）, 列表是一类数据的容器，它们数据元素之间的顺序由添加或删除的顺序决定。一旦一个数据元素被添加，它相对于前后元素一直保持该位置不变。诸如此类的数据结构被称为线性数据结构。 - 线性数据结构有两端，有时
阅读全文
摘要：一.引言 - 现在大家对 大O 算法和不同函数之间的差异有了了解。本节的目标是告诉你 Python 列表和字典操作的 大O 性能。然后我们将做一些基于时间的实验来说明每个数据结构的花销和使用这些数据结构的好处。重要的是了解这些数据结构的效率，因为它们是本博客实现其他数据结构所用到的基础模块。本节中，
阅读全文
摘要：一,什么是计算机科学? 首先明确的一点就是计算机科学不仅仅是对计算机的研究,虽然计算机在科学发展的过程中发挥了重大的作用,但是他只是一个工具,一个没有灵魂的工具而已,所谓的计算机科学实际上是对问题,解决问题及解决该问题,最终得到该问题的解,或者最优解,所以计算机也可以被认为是对算法的研究,因此我们也
阅读全文
摘要：增量式爬虫 引言： 当我们在浏览相关网页的时候会发现，某些网站定时会在原有网页数据的基础上更新一批数据，例如某电影网站会实时更新一批最近热门的电影。小说网站会根据作者创作的进度实时更新最新的章节数据等等。那么，类似的情景，当我们在爬虫的过程中遇到时，我们是不是需要定时更新程序以便能爬取到网站中最近更
阅读全文
摘要：redis分布式部署 1.scrapy框架是否可以自己实现分布式？ - 不可以。原因有二。 其一：因为多台机器上部署的scrapy会各自拥有各自的调度器，这样就使得多台机器无法分配start_urls列表中的url。（多台机器无法共享同一个调度器） 其二：多台机器爬取到的数据无法通过同一个管道对数据
阅读全文
摘要：引入 提问：如果想要通过爬虫程序去爬取”糗百“全站数据新闻数据的话，有几种实现方法？ 方法一：基于Scrapy框架中的Spider的递归爬取进行实现（Request模块递归回调parse方法）。 方法二：基于CrawlSpider的自动爬取进行实现（更加简洁和高效）。 今日概要 CrawlSpide
阅读全文
摘要：引入 在通过scrapy框架进行某些网站数据爬取的时候，往往会碰到页面动态数据加载的情况发生，如果直接使用scrapy对其url发请求，是绝对获取不到那部分动态加载出来的数据值。但是通过观察我们会发现，通过浏览器进行url请求发送则会加载出对应的动态加载出的数据。那么如果我们想要在scrapy也获取
阅读全文
摘要：今日概要 递归爬取解析多页页面数据 scrapy核心组件工作流程 scrapy的post请求发送 今日详情 1.递归爬取解析多页页面数据 - 需求：将糗事百科所有页码的作者和段子内容数据进行爬取切持久化存储 - 需求分析：每一个页面对应一个url，则scrapy工程需要对每一个页码对应的url依次发
阅读全文
摘要：今日概要 scrapy下载中间件 UA池 代理池 今日详情 一.下载中间件 先祭出框架图： 下载中间件（Downloader Middlewares） 位于scrapy引擎和下载器之间的一层组件。 - 作用： （1）引擎将请求传递给下载器过程中， 下载中间件可以对请求进行一系列处理。比如设置请求的
阅读全文
摘要：今日概要 基于终端指令的持久化存储 基于管道的持久化存储 今日详情 1.基于终端指令的持久化存储 保证爬虫文件的parse方法中有可迭代类型对象（通常为列表or字典）的返回，该返回值可以通过终端指令的形式写入指定格式的文件中进行持久化操作。 执行输出指定格式进行存储：将爬取到的数据写入不同格式的文件
阅读全文
摘要：今日概要 scrapy框架介绍 环境安装 基础使用 今日详情 一.什么是Scrapy？ Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，非常出名，非常强悍。所谓的框架就是一个已经被集成了各种功能（高性能异步下载，队列，分布式，解析，持久化等）的具有很强通用性的项目模板。对于框架的
阅读全文
摘要：引入 今日概要 图片懒加载 selenium phantomJs 谷歌无头浏览器 知识点回顾 验证码处理流程 今日详情 动态数据加载处理 一.图片懒加载 什么是图片懒加载？ 案例分析：抓取站长素材http://sc.chinaz.com/中的图片数据 #!/usr/bin/env python #
阅读全文
摘要：jupyter notebook环境安装 一、什么是Jupyter Notebook？ 1. 简介 Jupyter Notebook是基于网页的用于交互计算的应用程序。其可被应用于全过程计算：开发、文档编写、运行代码和展示结果。——Jupyter Notebook官方介绍 简而言之，Jupyter
阅读全文
摘要：引入 相关的门户网站在进行登录的时候，如果用户连续登录的次数超过3次或者5次的时候，就会在登录页中动态生成验证码。通过验证码达到分流和反爬的效果。 今日概要 使用云打码平台识别验证码 知识点回顾 session的创建方式 session的作用 proxies参数的作用 高匿，透明代理的区别 今日内容
阅读全文
摘要：今日内容 session处理cookie proxies参数设置请求代理ip 基于线程池的数据爬取 知识点回顾 xpath的解析流程 bs4的解析流程 常用xpath表达式 常用bs4解析方法 引入 有些时候，我们在使用爬虫程序去爬取一些用户相关信息的数据（爬取张三“人人网”个人主页数据）时，如果使
阅读全文
浙公网安备 33010602011771号