文章分类 -  爬虫模块

Scrapy框架
摘要：Scrapy框架介绍： 写一个爬虫，需要做很多的事情。比如：发送网络请求、数据解析、数据存储、反反爬虫机制（更换ip代理、设置请求头等）、异步请求等。这些工作如果每次都要自己从零开始写的话，比较浪费时间。因此Scrapy把一些基础的东西封装好了，在他上面写爬虫可以变的更加的高效（爬取效率和开发效率） 阅读全文
posted @ 2019-09-11 10:56 JRB 阅读(199) 评论(0) 推荐(0)
http协议和Chrome抓包工具
摘要：什么是http和https协议： HTTP协议：全称是HyperText Transfer Protocol，中文意思是超文本传输协议，是一种发布和接收HTML页面的方法。服务器端口号是80端口。 HTTPS协议：是HTTP协议的加密版本，在HTTP下加入了SSL层。服务器端口号是443端口。 在浏 阅读全文
posted @ 2019-09-11 10:53 JRB 阅读(426) 评论(0) 推荐(0)
requests库
摘要：requests库 虽然Python的标准库中 urllib模块已经包含了平常我们使用的大多数功能，但是它的 API 使用起来让人感觉不太好，而 Requests宣传是 “HTTP for Humans”，说明使用更简洁方便。 安装和文档地址： 利用pip可以非常方便的安装： 中文文档：http:/ 阅读全文
posted @ 2019-09-11 10:52 JRB 阅读(204) 评论(0) 推荐(0)
Beautifulsoup
摘要：BeautifulSoup4库 和 lxml 一样，Beautiful Soup 也是一个HTML/XML的解析器，主要的功能也是如何解析和提取 HTML/XML 数据。lxml 只会局部遍历，而Beautiful Soup 是基于HTML DOM（Document Object Model）的，会 阅读全文
posted @ 2019-09-11 10:50 JRB 阅读(360) 评论(0) 推荐(0)
xpath
摘要：XPath语法和lxml模块 什么是XPath？ xpath（XML Path Language）是一门在XML和HTML文档中查找信息的语言，可用来在XML和HTML文档中对元素和属性进行遍历。 XPath开发工具 XPath语法 选取节点： XPath 使用路径表达式来选取 XML 文档中的节点 阅读全文
posted @ 2019-09-11 10:48 JRB 阅读(259) 评论(0) 推荐(0)
多线程爬虫
摘要：多线程爬虫 有些时候，比如下载图片，因为下载图片是一个耗时的操作。如果采用之前那种同步的方式下载。那效率肯会特别慢。这时候我们就可以考虑使用多线程的方式来下载图片。 多线程介绍： 多线程是为了同步完成多项任务，通过提高资源使用效率来提高系统的效率。线程是在同一时间需要完成多项任务的时候实现的。最简单 阅读全文
posted @ 2018-12-16 15:25 JRB 阅读(242) 评论(0) 推荐(0)