摘要：
cookie模拟登录 1.适用网站几场景 抓取需要登录才能访问的页面 2.cookie和session机制 人人网登录案例 方法一.登录网站手动抓取Cookie import requests class RenRenLogin(object): def __init__(self): # url为 阅读全文
posted @ 2019-08-15 20:28
maplethefox
阅读(1139)
评论(0)
推荐(0)
摘要：
1. 校验数字的表达式 2. 校验字符的表达式 3. 特殊需求表达式 正则表附图 阅读全文
posted @ 2019-08-14 16:28
maplethefox
阅读(185)
评论(0)
推荐(0)
摘要：
应用场景 1、多进程 ：CPU密集程序 2、多线程 ：爬虫(网络I/O)、本地磁盘I/O 队列 线程模块 小米应用商店抓取(多线程) 目标 实现步骤 1.确认是否为动态加载 2.F12抓取网络数据包 3.代码实现 import requests from threading import Threa 阅读全文
posted @ 2019-08-14 16:25
maplethefox
阅读(232)
评论(0)
推荐(0)
摘要：
特点: 抓取: 豆瓣电影数据抓取案例 1.目标 2.F12抓包(XHR) 3.代码实现 import requests import time from fake_useragent import UserAgent class DoubanSpider(): def __init__(self): 阅读全文
posted @ 2019-08-14 15:54
maplethefox
阅读(583)
评论(0)
推荐(0)
摘要：
控制台抓包 打开方式几常用选项 requests.post() 1.适用场景 Post类型请求的网站 2.参数-data 3.请求方式特点 有道翻译破解案例(post) 1.目标 2.实现步骤 具体实现 1.开启F2抓包,找到Form表但数据如下: 2.在页面中多翻译几个单词,观察Form表单数据变 阅读全文
posted @ 2019-08-13 21:23
maplethefox
阅读(1661)
评论(0)
推荐(0)
摘要：
查询参数-params 1.参数类型 字典,字典中键值对作为查询参数 2.使用方法 3.示例 web客户端验证 参数-auth 1.作用类型 2.通过用户名账号密码获取笔记名称案例 思考：爬取具体的笔记文件？ SSL证书认证参数-verify 1.适用网站及场景 2.参数类型 代理参数-proxie 阅读全文
posted @ 2019-08-13 20:54
maplethefox
阅读(78888)
评论(1)
推荐(4)
摘要：
链家二手房案例(xpath) 实现步骤 1.确定是否为静态 打开二手房页面 -> 查看网页源码 -> 搜索关键字 2.xpath表达式 3.实现代码 import requests from lxml import etree import time import random class Lian 阅读全文
posted @ 2019-08-12 19:29
maplethefox
阅读(480)
评论(0)
推荐(0)
摘要：
xpath解析 一.定义: XPath即为XML路径语言，它是一种用来确定XML文档中某部分位置的语言，同样适用于HTML文档的检索 二.示例HTML代码 <ul class="CarList"> <li class="bjd" id="car_001" href="http://www.bjd.c 阅读全文
posted @ 2019-08-12 10:06
maplethefox
阅读(572)
评论(0)
推荐(0)
摘要：
re模块使用 regex=compile(pattern,flags=0) 功能：生产正则表达式对象 参数：pattern 正则表达式 flags 功能标志位 扩展正则表达式的匹配 返回值：正则表达式对象 一、re.findall(pattern,string,flags=0) 功能：根据正则表达式 阅读全文
posted @ 2019-08-12 01:13
maplethefox
阅读(327)
评论(0)
推荐(0)
摘要：
一、基本简介： 1. 定义：即文本的高级匹配模式，提供搜索，替换等功能。其本质是由一系列字符和特殊符号构成的字串，这个字串即正则表达式。 2. 原理：通过普通字符和有特定含义的字符，来组成字符串，用以描述一定的字符串规则，比如：重复，位置等，来表达某类特定的字符串，进而匹配。 3. 目标 熟练掌握正 阅读全文
posted @ 2019-08-12 00:21
maplethefox
阅读(1287)
评论(0)
推荐(0)
浙公网安备 33010602011771号