导航

• 博客园
• 首页
• 新随笔
• 新文章
• 联系
• 订阅
• 管理

随笔分类 -  爬虫开发

• 爬虫开发之get和post请求
  摘要：打开所在页面的控制台Request Method 对应的就是请求方式 1.get请求 2.post请求 请求方式特征 1.传参方式 get 提交的数据放在URL后，以？分割URL和传输数据，参数以&相连 post 放在HTTP包的body中2.各自特长 get请求重点在从服务器上获取资源，而post 阅读全文
  posted @ 2020-04-28 21:43 sunny-cheng 阅读(695) 评论(0) 推荐(0)
• selenium alert JS弹窗问题处理
  摘要：弹窗一般分为三种类型： 1.警告消息框（alert） 警告消息框提供了一个"确定"按钮让用户关闭该消息框，并且该消息框是模式对话框，也就是说用户必须先关闭该消息框然后才能继续进行操作。 2.确认消息框（confirm） 确认消息框向用户提示一个"是与否"问题，用户可以根据选择"确定"按钮和"取消"按 阅读全文
  posted @ 2019-03-29 11:00 sunny-cheng 阅读(1528) 评论(0) 推荐(0)
• Selenium爬取元素定位
  摘要：selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行 JavaScript代码的问题 selenium本质是通过驱动浏览器，完全模拟浏览器的操作，比如跳转 、输入、点击、下拉等，来拿到网页渲染之后的结果，可支持多种浏览器 Selenium提供了一下方法来 阅读全文
  posted @ 2019-03-28 16:18 sunny-cheng 阅读(2349) 评论(0) 推荐(0)
• 爬虫开发13.UA池和代理池在scrapy中的应用
  摘要：今日概要 scrapy下载中间件 UA池 代理池 今日详情 一.下载中间件 下载中间件（Downloader Middlewares） 位于scrapy引擎和下载器之间的一层组件。 - 作用： （1）引擎将请求传递给下载器过程中， 下载中间件可以对请求进行一系列处理。比如设置请求的 User-Age 阅读全文
  posted @ 2019-03-16 15:59 sunny-cheng 阅读(242) 评论(0) 推荐(0)
• 爬虫开发14.scrapy框架之分布式操作
  摘要：分布式爬虫 分布式爬虫 一.redis简单回顾 1.启动redis： mac/linux: redis-server redis.conf windows: redis-server.exe redis-windows.conf 2.对redis配置文件进行配置： - 注释该行：bind 127.0 阅读全文
  posted @ 2019-03-16 15:59 sunny-cheng 阅读(189) 评论(0) 推荐(0)
• 爬虫开发12.selenium在scrapy中的应用
  摘要：selenium在scrapy中的应用阅读量: 370 1 selenium在scrapy中的应用阅读量: 370 1 引入 在通过scrapy框架进行某些网站数据爬取的时候，往往会碰到页面动态数据加载的情况发生，如果直接使用scrapy对其url发请求，是绝对获取不到那部分动态加载出来的数据值。但 阅读全文
  posted @ 2019-03-16 15:58 sunny-cheng 阅读(245) 评论(0) 推荐(0)
• 爬虫开发11.scrapy框架之CrawlSpider操作
  摘要：提问：如果想要通过爬虫程序去爬取”糗百“全站数据新闻数据的话，有几种实现方法？ 方法一：基于Scrapy框架中的Spider的递归爬取进行实现（Request模块递归回调parse方法）。 方法二：基于CrawlSpider的自动爬取进行实现（更加简洁和高效）。 CrawlSpider 一.简介 C 阅读全文
  posted @ 2019-03-16 15:57 sunny-cheng 阅读(240) 评论(0) 推荐(0)
• 爬虫开发10.scrapy框架之日志等级和请求传参
  摘要：今日概要 日志等级 请求传参 今日详情 一.Scrapy的日志等级 - 在使用scrapy crawl spiderFileName运行程序时，在终端里打印输出的就是scrapy的日志信息。 - 日志信息的种类： ERROR ： 一般错误 WARNING : 警告 INFO : 一般的信息 DEBU 阅读全文
  posted @ 2019-03-16 15:56 sunny-cheng 阅读(251) 评论(0) 推荐(0)
• 爬虫开发8.scrapy框架之持久化操作
  摘要：今日概要 基于终端指令的持久化存储 基于管道的持久化存储 今日详情 1.基于终端指令的持久化存储 保证爬虫文件的parse方法中有可迭代类型对象（通常为列表or字典）的返回，该返回值可以通过终端指令的形式写入指定格式的文件中进行持久化操作。 2.基于管道的持久化存储 scrapy框架中已经为我们专门 阅读全文
  posted @ 2019-03-16 15:54 sunny-cheng 阅读(206) 评论(0) 推荐(0)
• 爬虫开发7.scrapy框架简介和基础应用
  摘要：scrapy框架简介和基础应用阅读量: 1432 scrapy scrapy框架简介和基础应用阅读量: 1432 scrapy 今日概要 scrapy框架介绍 环境安装 基础使用 今日详情 一.什么是Scrapy？ Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，非常出名，非常强 阅读全文
  posted @ 2019-03-16 15:53 sunny-cheng 阅读(247) 评论(0) 推荐(0)
• 爬虫开发6.selenuim和phantonJs处理网页动态加载数据的爬取
  摘要：selenuim和phantonJs处理网页动态加载数据的爬取阅读量: 1203 动态数据加载处理 一.图片懒加载 什么是图片懒加载？ 案例分析：抓取站长素材http://sc.chinaz.com/中的图片数据 #!/usr/bin/env python # -*- coding:utf-8 -* 阅读全文
  posted @ 2019-03-16 15:52 sunny-cheng 阅读(271) 评论(0) 推荐(0)
• 爬虫开发4.三种数据解析方式
  摘要：数据解析三种方式 数据解析三种方式 引言：回顾requests实现数据爬取的流程 指定url 基于requests模块发起请求 获取响应对象中的数据 进行持久化存储 其实，在上述流程中还需要较为重要的一步，就是在持久化存储之前需要进行指定数据解析。因为大多数情况下的需求，我们都会指定去使用聚焦爬虫， 阅读全文
  posted @ 2019-03-16 15:50 sunny-cheng 阅读(217) 评论(0) 推荐(0)
• 爬虫开发5.requests模块的cookie和代理操作
  摘要：代理和cookie操作 代理和cookie操作 一.基于requests模块的cookie操作 引言：有些时候，我们在使用爬虫程序去爬取一些用户相关信息的数据（爬取张三“人人网”个人主页数据）时，如果使用之前requests模块常规操作时，往往达不到我们想要的目的，例如： #!/usr/bin/en 阅读全文
  posted @ 2019-03-16 15:50 sunny-cheng 阅读(311) 评论(0) 推荐(0)
• 爬虫开发3.requests模块
  摘要：requests模块 - 基于如下5点展开requests模块的学习 什么是requests模块 requests模块是python中原生的基于网络请求的模块，其主要作用是用来模拟浏览器发起请求。功能强大，用法简洁高效。在爬虫领域中占据着半壁江山的地位。 为什么要使用requests模块 因为在使用 阅读全文
  posted @ 2019-03-16 15:49 sunny-cheng 阅读(220) 评论(0) 推荐(0)
• 爬虫开发.2urllib模块
  摘要：一.urllib库 概念：urllib是Python自带的一个用于爬虫的库，其主要作用就是可以通过代码模拟浏览器发送请求。其常被用到的子模块在Python3中的为urllib.request和urllib.parse，在Python2中是urllib和urllib2。 使用流程： 指定url 基于u 阅读全文
  posted @ 2019-03-16 15:47 sunny-cheng 阅读(236) 评论(0) 推荐(0)
• 爬虫开发.1爬虫介绍
  摘要：一.urllib库 概念：urllib是Python自带的一个用于爬虫的库，其主要作用就是可以通过代码模拟浏览器发送请求。其常被用到的子模块在Python3中的为urllib.request和urllib.parse，在Python2中是urllib和urllib2。 使用流程： 指定url 基于u 阅读全文
  posted @ 2019-03-16 15:44 sunny-cheng 阅读(627) 评论(0) 推荐(0)