随笔分类 -  爬虫笔记

python爬虫14--Selenium动态渲染页面抓取
摘要：1.声明浏览器对象 from selenium import webdriver browser = webdriver.Chrome() # browser = webdriver.Firefox() # browser = webdriver.Edge() 2.访问页面 from seleniu 阅读全文
posted @ 2020-01-18 09:07 未来可期~~ 阅读(1031) 评论(0) 推荐(0)
python爬虫13--Ajax数据爬取
摘要：1. Ajax介绍 Ajax，Asynchronous JavaScript and XML，即异步的JavaScript和XML。它不是编程语言，而是利用JavaScript在保证页面不被刷新、页面链接不改变的情况下，与服务器交换数据并更新部分网页的技术。 2. Ajax基本原理 发送Ajax请求 阅读全文
posted @ 2020-01-12 19:16 未来可期~~ 阅读(819) 评论(0) 推荐(0)
python爬虫12--文件存储之非关系型数据库存储Redis
摘要：1.Redis连接 启动服务： cd redis的安装路径 >redis-server.exe cd redis的安装路径 >redis-cli python中连接redis： #第一种连接 from redis import StrictRedis redis = StrictRedis(host 阅读全文
posted @ 2020-01-11 17:28 未来可期~~ 阅读(263) 评论(0) 推荐(0)
python爬虫11--文件存储之非关系型数据库存储MongoDB
摘要：NoSQL，Not Only SQL，不仅仅是SQL，泛指非关系型数据库，基于键值对的，不需要经过SQL层的解析，数据之间没有耦合性，性能高。 非关系型数据库细分如下： 键值存储数据库：Redis、Voldemort、Oracle BDB； 列表存储数据库：Cassandra、HBase、Riak； 阅读全文
posted @ 2020-01-11 08:05 未来可期~~ 阅读(298) 评论(0) 推荐(0)
python爬虫10--文件存储之关系型数据库存储
摘要：关系型数据库基于关系模型，而关系模型通过二维表存储，关系型数据库有：SQLite、MySQL、Oracle、SQL Server、DB2等。 MySQL数据库存储 1.连接数据库 import pymysql #用connect()方法申明一个mysql连接对象db db = pymysql.con 阅读全文
posted @ 2020-01-10 06:51 未来可期~~ 阅读(366) 评论(0) 推荐(0)
python爬虫9--文件存储之TXT,JSON,CSV
摘要：1.TXT文件存储 #豆瓣电影TOP250首页电影信息抓取from pyquery import PyQuery as pq import requests url = 'https://movie.douban.com/top250' headers = { 'User-Agent': 'Mozi 阅读全文
posted @ 2020-01-09 06:25 未来可期~~ 阅读(333) 评论(0) 推荐(0)
python爬虫8--pyquery解析库
摘要：1.pyquery介绍 pyquery优势，CSS选择器功能非常强大。 2.初始化解析 2.1字符串初始化 html = ''' <div id="container"> <ul class="list> <li class="li li-first" name="item"><a href="li 阅读全文
posted @ 2020-01-08 07:13 未来可期~~ 阅读(218) 评论(0) 推荐(0)
pyquery安装问题
摘要：问题： 在电脑终端安装了pyquery且能正常导入，但在pycharm中不能导入，提示没有该模块。在pycharm setting中安装出现如下错误： AttributeError: module 'pip' has no attribute 'main' 错误原因：当前pip版本中没有main() 阅读全文
posted @ 2020-01-08 05:55 未来可期~~ 阅读(692) 评论(0) 推荐(0)
python爬虫7--BeautifulSoup解析库
摘要：1. BeautifulSoup介绍 HTML或XML的解析库。支持的解析器有： python标准库：BeautifulSoup(markup."html.parser')；执行速度适中，容错能力强；python2.7.3及python3.2.2之前版本容错能力差； lxml HTML解析器：Bea 阅读全文
posted @ 2020-01-07 06:49 未来可期~~ 阅读(314) 评论(0) 推荐(0)
python爬虫6--lxml解析库
摘要：1. xpath介绍 XML Path Language，即XML路径语言，可以搜索XML文档，也可以搜索HTML文档。 2. 初始化解析 2.1 解析HTML文本： from lxml import etree #导入lxml库的etree模块 html = etree.HTML('res.tex 阅读全文
posted @ 2020-01-07 05:03 未来可期~~ 阅读(372) 评论(0) 推荐(0)
python爬虫5--requests请求库
摘要：使用该库需先安装，能更方便的处理Cookies，登录验证，代理设置等。 urllib中urlopen()实际是以GET方法请求网页，requests中响应的方法为get()，另外还可用post(),put(),delete()等方式实现POET,PUT,DELETE等请求。 1 普通用法 1.1 G 阅读全文
posted @ 2020-01-04 06:08 未来可期~~ 阅读(184) 评论(0) 推荐(0)
python爬虫4--urllib请求库之robotparser模块
摘要：robotparser模块提供了一个RobotFileParser类，可以方便的判断哪些页面可以抓取，哪些页面不可以抓取。 首先需创建类：urllib.robotparser.RobotFileParser(url='')，申明是也可以不传入url，用set_url()设置。 该类常用方法： set 阅读全文
posted @ 2020-01-03 06:37 未来可期~~ 阅读(799) 评论(0) 推荐(0)
python爬虫3--urllib请求库之parse模块
摘要：parse定义了处理URL的标准接口，实现URL的拆分，合并以及转换。 1.urlparse() url拆分 urlparse(urlstring，scheme=‘’，allow_ragments=True) scheme：默认协议，如果url不带协议的时候生效； allow_fragments：是 阅读全文
posted @ 2020-01-03 06:12 未来可期~~ 阅读(543) 评论(0) 推荐(0)
python爬虫2--urllib请求库之error模块
摘要：urllib的error模块定义了由request模块产生的异常，避免了程序因报错而终止的问题。 1.URLError 继承OSError类，是error异常模块的基类，由request模块产生的异常都可以通过捕获这个类来处理。属性reason，返回错误原因。 2.HTTPError URLErro 阅读全文
posted @ 2020-01-03 05:25 未来可期~~ 阅读(310) 评论(0) 推荐(0)
python爬虫1--urllib请求库之request模块
摘要：urllib为python内置的HTTP请求库，包含四个模块： request：最基本的HTTP请求模块， 只需要传入URL和参数 error：异常处理模块 parse：工具模块，处理URL，拆分、解析合并等 robotparser：识别robots.txt文件 1. urlopen() 实现最基本 阅读全文
posted @ 2020-01-02 06:02 未来可期~~ 阅读(328) 评论(0) 推荐(0)
代理ip分类
摘要：一、按请求信息的安全性分类 可以分为透明代理、普通匿名代理和高级匿名代理三种。 二、按照用途分类 1、Http代理：最常用的代理，代理客户机的http访问，主要代理浏览器访问网页，它的端口一般为80、8080、3128等。 2、SSL代理也叫HTTPS代理，支持最高128位加密强度的http代理，可 阅读全文
posted @ 2019-12-10 17:31 未来可期~~ 阅读(814) 评论(0) 推荐(0)