晨曦的等待

摘要： 1.Fiddler的概念 Fiddler是位于客户端和服务器端的HTTP代理，也是目前最常用的http抓包工具之一 。 它能够记录客户端和服务器之间的所有 HTTP请求，可以针对特定的HTTP请求，分析请求数据、设置断点、调试web应用、修改请求的数据，甚至可以修改服务器返回的数据，功能非常强大，是 阅读全文

摘要： 一.Scrapy框架的基础应用 1.Scrapy的概念 Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，非常出名，非常强悍。所谓的框架就是一个已经被集成了各种功能（高性能异步下载，队列，分布式，解析，持久化等）的具有很强通用性的项目模板。 2.安装 windows: Linux: 阅读全文

摘要： 一.验证码处理 1.云打码平台处理验证码的实现流程： 示例： 模拟登录古诗文网 二.图片懒加载，selenium，PhantomJS 1.图片懒加载的概念： 图片懒加载是一种网页优化技术。图片作为一种网络资源，在被请求时也与普通静态资源一样，将占用网络资源，而一次性将整个页面的所有图片加载完，将大大 阅读全文

摘要： 实现数据爬取的流程 指定url 基于requests模块发起请求 获取响应中的数据 数据解析（正则解析，bs4解析，xpath解析） 进行持久化存储 一.bs4（BeautifulSoup） 1.安装 2.解析原理 1.将即将要进行解析的源码加载到bs对象 2.调用bs对象中相关的方法或属性进行源码 阅读全文

摘要： 一.爬虫 1.介绍 爬虫就是通过编写程序模拟浏览器上网，然后让其去互联网上抓取数据的过程 2.分类 通用爬虫： 通用爬虫是搜索引擎（Baidu、Google、Yahoo等）“抓取系统”的重要组成部分 聚焦爬虫：聚焦爬虫是根据指定的需求抓取网络上指定的数据。 3.反爬虫 门户网站通过相应的策略和技术手 阅读全文

摘要： 一.分支 1.分支的简介 在进行提交操作时，Git 会保存一个提交对象（commit object）， 2.分支的创建 创建一个 testing 分支， 你需要使用 git branch 命令： 3.分支的切换 再提交一次： 首先，我们创建dev分支，然后切换到dev分支： git checkout 阅读全文

摘要： 1.在现有的目录中初始化仓库 2.把一个文件放到Git仓库中 第一步， 用命令git add ，把文件添加到仓库 第二步， 用命令git commit ， 把文件提交到仓库 -m后面输入的是本次提交的说明，可以输入任意内容，当然最好是有意义的，这样你就能从历史记录里方便地找到改动记录。 git co 阅读全文

摘要： 1.安装 如果excel里面有图片(jpeg, png, bmp,…),需要安装图片处理模块 创建一个新的工作薄 修改工作薄的名称 获取所有的工作薄的名称 获取其中一个工作薄名称 excel 写数据 execl 读数据 注意：但是如果是读取的时候需要加上data_only=True这样读到B9返回的 阅读全文

摘要： 1.安装nginx 2.安装uwsgi 3.安装django 4.创建django项目 5.创建app 6.修改mysite/settings.py 7.修改mysite/urls.py 8.修改web/view.py 9.启动程序 10uwsgi配置文件 11.修改配置文件权限 12.修改ngin 阅读全文

摘要： 1.yaml 格式要求 冒号后面必须有空格 等号后面不能有空格 -后面也要有空格 严格对齐 2.setup 如果出现 条件判断 不同的系统 不同的版本 不同的环境 不同的用户 Ubuntu安装包的方式是apt-get 标签 tags 标签的传递 循环 with_item 一次性创建多个 嵌套循环 放 阅读全文