摘要： Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 其可以应用在数据挖掘，信息处理或存储历史数据等一系列的程序中。其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的， 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 阅读全文

摘要： 当前环境python3.5 ，windows10系统 Linux系统安装 在线安装，会自动安装scrapy模块以及相关依赖模块 手动源码安装，比较麻烦要自己手动安装scrapy模块以及依赖模块 安装以下模块 1、lxml-3.8.0.tar.gz （XML处理库） 2、Twisted-17.5.0. 阅读全文

摘要： requests请求，就是用python的requests模块模拟浏览器请求，返回html源码 模拟浏览器请求有两种，一种是不需要用户登录或者验证的请求，一种是需要用户登录或者验证的请求 一、不需要用户登录或者验证的请求 这种比较简单，直接利用requests模块发一个请求即可拿到html源码 得到 阅读全文

摘要： 1.ls [选项] [目录名 | 列出相关目录下的所有目录和文件 1 2 3 4 5 6 7 8 9 10 11 12 13 14 -a 列出包括.a开头的隐藏文件的所有文件 -A 通-a，但不列出"."和".." -l 列出文件的详细信息 -c 根据ctime排序显示 -t 根据文件修改时间排序 阅读全文

摘要： 1xx:信息 100 Continue 服务器仅接收到部分请求，但是一旦服务器并没有拒绝该请求，客户端应该继续发送其余的请求。 101 Switching Protocols 服务器转换协议：服务器将遵从客户的请求转换到另外一种协议。 2xx:成功 200 OK 请求成功（其后是对GET和POST请 阅读全文

摘要： 1.进程和线程 进程定义：进程是正在运行的程序的实例，进程是内核分配资源的最基本的单元，而线程是内核执行的最基本单元，进程内可以包含多个线程，只要记住这三个要点，就可以很清楚的理清进程和线程的行为模式。 程序在运行的时候是需要操作系统分配内存和其他硬件资源的，所以将运行的程序抽象为进程，一开始操作系 阅读全文

摘要： SVN图形管理工具-Submint 1.安装svn及相关依赖包 yum install subversion httpd mod_dav_svn apr-util-sqlite 2.下载submin wget https://supermind.nl/submin/current/submin-2. 阅读全文

摘要： 1.类的特殊成员方法 1.1__doc__ 表示类的描述信息 1.2__module__和__class__ __module__表示当前操作的对象在那个模块 __class__表示当前操作的对象所属类 1.3__init__构造函数，通过类创建对象时，自动触发 1.4__del__析构方法，函数执 阅读全文

摘要： pickle Example 写入文件 读取文件 shelve Example 写入文件 读取文件 阅读全文

摘要： Python从设计之初就已经是一门面向对象的语言，正因为如此，在Python中创建一个类和对象是很容易的。 面向对象三大特性：封装、继承、多态 1.面向对象简介 类(Class): 用来描述具有相同的属性和方法的对象的集合。它定义了该集合中每个对象所共有的属性和方法。对象是类的实例。 类变量：类变量 阅读全文