随笔分类 -  python爬虫

Python-requests请求的超时时间
摘要：python程序根据url从互联网上批量下载图片时，设置HTTP或Socket超时，来防止爬虫爬取某个页面时间过长，导致程序卡置不前。 一种解决方案是全局设置： import socketsocket.setdefaulttimeout(t)t：代表经过t秒后，如果还未下载成功，自动跳入下一次操作， 阅读全文
posted @ 2019-12-13 10:53 扎西德勒119 阅读(4819) 评论(0) 推荐(0)
Python中使用pip安装一些库时出现ERROR
摘要：ERROR: No matching distribution found for tensorflow的情况这可能是因为网络的问题，这时我们使用国内的镜像源来加速输入命令：python -m pip install requests(如果你安装的是别的库，请输入别的库名） -i http://py 阅读全文
posted @ 2019-09-25 11:41 扎西德勒119 阅读(532) 评论(0) 推荐(0)
05.scrapy框架的UA池和代理池
摘要：一:下载中间件 scrapy框架图 下载中间件(Downloader Middlewares)位于scrapy引擎和下载器之间的一层 作用: 1.引擎将请求传递给下载器过程中,下载中间件可以对请求进行一系列处理.比如设置请求的User-Agent,设置代理等 2.在下载器完成将response传递给 阅读全文
posted @ 2019-09-16 00:36 扎西德勒119 阅读(218) 评论(0) 推荐(0)
04scrapy框架的日志等级和请求传参
摘要：一.scrapy的日志等级 -在使用scrapy crawl spiderFileName运行程序时,在终端打印输出的就是scrapy的日志信息. -日志信息的种类: ERROR:一般错误 WARNING:警告 INFO:一般的信息 DEBUG: 调试信息 -在设置日志信息指定输出: 在settin 阅读全文
posted @ 2019-09-16 00:25 扎西德勒119 阅读(165) 评论(0) 推荐(0)
03.scrapy框架之递归解析和post请求
摘要：1.递归爬取解析多页页面数据 -需求:将糗事百科页面的作业和段子内容数据进行爬取持久化存储 -需求分析:每一个页面对应一个url,则scrapy工程需要对每一个页面对应的url依次发起请求,然后通过对应的解析方法进行作者和段子内容的解析 实现方法: 1.将每一个页面对应的url存放到爬取文件的其实u 阅读全文
posted @ 2019-09-16 00:07 扎西德勒119 阅读(180) 评论(0) 推荐(0)
02.scrapy框架持久化存储
摘要：1.基于终端指令的持久化存储 保证爬虫文件parse方法中有可迭代对象(通常为列表or字典)的返回,该返回值可以通过终端指令的形式写入指定格式的文件中进行持久化操作 执行输出指定格式进行存储:将爬取到的数据写入不同格式的文件中进行存储 scrapy crawl 爬虫名称 -o xxx.json sc 阅读全文
posted @ 2019-09-15 23:52 扎西德勒119 阅读(125) 评论(0) 推荐(0)
git
摘要：Git是什么？ Git是目前世界上最先进的分布式版本控制系统。 一. 上传新源码 // 1.初始化git init // 2.创建.gitignore文件.ideatarget*.iml // 3.添加远程库git remote add origin https://gitlab.zfibs.com 阅读全文
posted @ 2019-09-12 18:00 扎西德勒119 阅读(92) 评论(0) 推荐(0)
01.scrapy框架简介和基础应用
摘要：一:什么是Scrapy? Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架,非常出名,非常强悍.所谓的框架就是一个已经被集成了各种功能(高性能异步下载,队列,分布式,解析,持久化等)的具有很强通用性的项目模板,对于框架的学习,重点是要学习其框架的特性,各种功能的用法即可: 二:安装 阅读全文
posted @ 2019-09-12 01:52 扎西德勒119 阅读(145) 评论(0) 推荐(0)
python笔记--学会使用Fiddler
摘要：Fiddler是一个常见的抓包分析软件,同时我们可以利用它详细地对HTTP请求进行分析,并模拟对应的HTTP请求. 为什么使用Fiddler软件? 网络爬虫是自动爬取网页的程序,在爬取的过程中必然涉及客户端和服务端的通信,自然也需要发送一些HTTP请求,并接受服务器返回的结果.在一些稍复杂的网络请求 阅读全文
posted @ 2019-09-12 00:49 扎西德勒119 阅读(1735) 评论(0) 推荐(0)