paulversion - 博客园

2018年1月24日

摘要：基础爬虫框架主要包括五大模块,分别为爬虫调度器、url管理器、HTML下载器、HTML解析器、数据存储器。 1:爬虫调度器主要负责统筹其他四个模块的协调工作 2: URL管理器负责管理URL连接，维护已经爬取的URL集合和未爬取的URL集合,提供获取新URL链接的接口 3: HTML下载器用于从UR 阅读全文

posted @ 2018-01-24 18:30 paulversion 阅读(791) 评论(0) 推荐(0)

Python 邮箱

摘要： #coding:utf-8from email.header import Headerfrom email.mime.text import MIMETextfrom email.utils import parseaddr,formataddrimport smtplib def _fromat 阅读全文

posted @ 2018-01-24 15:44 paulversion 阅读(240) 评论(0) 推荐(0)

2018年1月23日

Mysql InnoDB表结构

摘要：索引组织表在InnoDB存储引擎中,表都是根据主键顺序组织存放的，这种存储方式的表称为索引组织表(index organized table).在InnoDB存储引擎表中,每张表都有个主键(Primary Key),如果在创建表时没有显式地定义主键，则InnoDB存储引擎会按如下方式选择或创建主键阅读全文

posted @ 2018-01-23 23:09 paulversion 阅读(2155) 评论(0) 推荐(0)

Python 抓取图片

摘要： #coding:utf-8from bs4 import BeautifulSoupimport requestsimport urllib user_agent = 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTM 阅读全文

posted @ 2018-01-23 18:25 paulversion 阅读(245) 评论(0) 推荐(0)

Python将数据保存到CSV中

摘要： #coding:utf-8import csv headers = ['ID','UserName','Password','Age','Country'] rows = [(1001,'qiye','qiye_pass',24,'China'), (1002,'Mary','Mary_pass', 阅读全文

posted @ 2018-01-23 17:04 paulversion 阅读(49647) 评论(0) 推荐(0)

Python 爬取盗墓笔记的标题,章节,章节名称

摘要： # coding:utf-8import requestsimport jsonfrom bs4 import BeautifulSoup user_agent = 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML 阅读全文

posted @ 2018-01-23 16:33 paulversion 阅读(613) 评论(0) 推荐(0)

2018年1月22日

MySQL文件和Innodb引擎文件

摘要：构成MySQL数据库和InnoDB存储引擎表的各种类型文件,组要有以下文件参数文件:告诉MySQL实例启动时在哪里可以找到，数据库文件,并且指定某些初始化参数，这些参数定义了某种内存结构的大小等设置日志文件:用来记录MySQL实例对某种条件做出响应时写入的文件，如错误日志文件、二进制日志文件、慢阅读全文

posted @ 2018-01-22 23:43 paulversion 阅读(1476) 评论(0) 推荐(0)

Python beautifulSoup

摘要： BeautifulSoup将复杂HTML文档转换成一个复杂的树形结构,每个节点都是Python对象,所有对象可以归纳为4种: Tag、NavigableString、BeautifulSoup 、Comment Tag对象与XML或HTML原生文档中的Tag相同,比如<title>The Dormo 阅读全文

posted @ 2018-01-22 18:21 paulversion 阅读(166) 评论(0) 推荐(0)

python 正则

摘要：可以下载一个正则表达式工具Match Tracer 常见的元字符 . 匹配除换行符以外的任意字符 \b 匹配单词的开始或结束 \d 匹配数字 \w 匹配字母、数字、下划线或汉子 \s 匹配任意空白符, 包括空格、制表符、换行符、中文全角空格等 ^ 匹配字符串的开始 $ 匹配字符串的结束假如一行文本阅读全文

posted @ 2018-01-22 14:45 paulversion 阅读(151) 评论(0) 推荐(0)

2018年1月20日

redis 服务器

摘要： Redis服务器负责与多个客户端建立网络连接，处理客户端发送的命令请求，在数据库中保存客户端执行命令所产生的数据，并通过资源管理来维持服务器自身的运转命令请求的执行过程 set key value 那么从客户端发送set key value 命令到获得回复ok期间，客户端和服务器共需要执行以下操作阅读全文

posted @ 2018-01-20 15:01 paulversion 阅读(1162) 评论(0) 推荐(0)